Đảo Ngọc Vừng là đảo đất, hình gần vuông, mỗi chiều 4km. Cách nay 5.000 năm, người nguyên thủy thời đại đồ đá mới đã đến cư trú. Trong lúc làm ruộng, người dân ở đây đã nhặt được rìu đá, bôn đá vừa có vai, vừa có nấc, chì lưới, bàn mài có rãnh... đó là những di sản mà người nguyên thủy sinh sống ở Ngọc Vừng đã sử dụng. Vào cuối những năm 1930, một chủ lò thủy tinh ở Ngọc Vừng đã phát hiện ra di chỉ đá mới. Các nhà khảo cổ Pháp đã đến đảo này, căn cứ vào hình dáng của những di vật thu lượm được trên đảo, họ đã đặt tên cho di chỉ đồ đá ở đây là “Nền văn hóa Danhdôla” (tên đảo Ngọc Vừng ghi trên hải đồ của người Pháp). Cách di chỉ cư trú của người nguyên thủy 500m về phía Bắc, còn vết tích một nhà tù của thực dân Pháp, nơi giam cầm các lãnh tụ và nghĩa quân trong phong trào Cần Vương bị Pháp bắt, trong đó có Đề Hồng, Cái Thái, Lãnh Hy, Lãnh Pha, là những lãnh tụ của các cuộc khởi nghĩa chống Pháp hoạt động ở vùng Hạ Long. Năm 1945, Cách mạng tháng Tám thành công, nhân dân trên quần đảo Vân Hải kéo đến Ngọc Vừng phá nhà tù, thấy trên các tường buồng giam loang lổ những chữ viết bằng máu: “Việt Nam độc lập”, “Diệt Pháp hưng quốc”... Trong cuộc chiến đấu chống chiến tranh phá hoại của giặc Mỹ, ngày 24-12-1972, bằng 14 phát đạn 12,7mm, quân dân đảo Ngọc Vừng đã bắn rơi chiếc máy bay F.4E của giặc Mỹ đến gây tội ác và là chiếc thứ 200 của quân dân Quảng Ninh bắn hạ.