Hòn Chồng nằm ở ngay thành phố, cạnh bờ biển Đông. Quần thể Hòn Chồng gồm hai nhóm đá, một nhóm nằm ở biển sát bờ, một nhóm nằm trên bãi cát, sát chân đồi Cù Lao. Nhóm ngoài biển gọi là Hòn Chồng với các khối đá chìm và khối đá nổi trên mặt sóng nước, lớp lớp chồng lên nhau, thành nhiều tầng, nhiều ngách chạy từ bờ cao xuống biển. Có khối đá khổng lồ nằm trên những khối đá nhỏ, trông rất chênh vênh, như sắp đổ nhào! Từ bờ, những khối đá theo nhau chạy ra biển, rồi đột ngột vươn lên thành tảng đá cao lớn sừng sững giữa trời nước mênh mang sóng vỗ. Trên tảng đá cao lớn này lại có một viên đá dáng tròn chễm chệ ngồi, mặt hướng ra biển khơi, trên đó có dấu năm đầu ngón tay to vấu lại in sâu vào đá, tương truyền là dấu trong tay của ông khổng lồ để lại thuở xa xưa. Từ Hòn Chồng nhìn lên phía Bắc, du khách sẽ nhìn thấy núi Cô Tiên, với hình dáng của một người con gái dậy thì đang nằm xõa tóc. Nhóm đá trên bãi cát, dân địa phương gọi là Hòn Vợ, với những tảng đá to chồng lên nhau, nhưng không nhẵn nhụi, bởi không được sóng vỗ bào mòn. Hòn Vợ có hai tảng đá hình khối chữ nhật đứng song song, cùng đỡ hai hòn đá nhỏ hình vuông. Trông xa như hình hai người phụ nữ đang mặc áo nhìn ra biển.