Phía sau Thạch Động về hướng Tây Bắc, giữa cánh đồng mênh mông nổi lên một ngọn núi có dáng hình thang cân, là nơi trú ngụ của nhiều loài chim cò có tên là núi Đá Dựng. Trong núi Đá Dựng có nhiều hang động, trong mỗi hang động có nhiều thạch nhũ, măng đá lấp lánh như châu ngọc. Đó chính là Châu Nham lạc lộ (cò về núi Ngọc) mà người dân địa phương quen gọi là Đá Dựng. Trong số những hang động ở Đá Dựng, đáng chú ý nhất là hang Bồng Lai, Sân Tiên. Trên mặt đá của hang Bồng Lai có dấu chân tiên rất lớn, thạch nhũ viền chung quanh, như một con rồng và con rắn nối nhau. Trong hang có một hố không sâu lắm chỉ vài chục centimét, nhưng quanh năm đầy nước, nên người ta gọi là giếng Tiên, ngoài ra còn có khối đá giống cây đàn của chàng Thạch Sanh, lại có khối đá hình tượng Phật mặc áo cà sa, có lầu trống, lầu chuông. Đá Dựng quả là một địa điểm du lịch lý thú, lại là một di tích lịch sử của Hà Tiên, bởi nơi đây trong cuộc kháng chiến chống Mỹ, các chiến sĩ biệt động Hà Tiên đã sống và chiến đấu kiên cường lập nên những chiến công xuất sắc.