Truyền thuyết xưa kể rằng: Xưa có một người con gái vạn chài xinh đẹp, nhà nghèo, gia đình cô phải đi làm thuê cho tên chủ cai quản vùng đánh cá. Thấy cô xinh đẹp, hắn ép gia đình cô gả cô làm vợ bé cho hắn, cô không chịu vì cô đã có người yêu, chàng trai đó đang ra khơi đánh cá để chuẩn bị cho ngày cưới của họ. Không làm gì nổi cô, tên địa chủ đã đày cô ra một đảo hoang nhằm khuất phục ý chí của cô, cô đói lả và kiệt sức. Trong một đêm mưa gió hãi hùng, cô gái đã hoá đá nơi đây. Đó cũng là đêm chàng trai biết tin cô gặp nạn, chàng mải miết bơi thuyền đi tìm cô. Đến đêm, giông bão ập đến thuyền chàng vỡ nát, chàng dạt lên một đảo hoang, trong ánh chớp, chàng nhìn ra phía xa và nhận ra cô gái nhưng những lời chàng gọi đã bị gió mang đi. Chàng dùng hòn đá đập vào vách núi báo cho nàng biết rằng chàng đã đến. Chàng gõ khi máu trên tay chảy đầm đìa, tới khi kiệt sức và chàng hóa đá trong hang Trống này.
Hang Trinh Nữ, hang Trống còn hấp dẫn du khách bởi những truyền thuyết khác. Đến với hang Trinh Nữ, du khách ngoài được ngắm cảnh đẹp huyền bí bên trong hang, còn được nghe người dân nơi đây kể những câu chuyện tình yêu lung linh, huyền ảo: “Thuở ấy có một đôi trai gái yêu nhau, vì quá nghèo mà chưa lấy được nhau. Chàng quyết dong thuyền ra khơi thật xa mong được mẻ cá lớn để có tiền cưới nàng. Và cô gái đã đau khổ chờ người chồng chưa cưới cứ biệt tăm tin tức. Cuống quít vì nhớ thương nàng đã lấy một chiếc thuyền nhỏ, một mình chèo thuyền đi tìm chồng chưa cưới. Biển thì rộng mênh mông, đảo thì dày đặc, đến nỗi mà lúc chàng trai trở về không thể nghe được tiếng gọi thống thiết của người yêu, mặc dù chỉ còn cách đó mấy lạch nước. Nàng kiệt sức, nằm lại ở trong hang, mặt hướng ra khơi xa, hoá đá khi cất tiếng gọi cuối cùng. Còn chàng trai thì lạc vào một hang gần đó, cũng tuyệt vọng gào thét gọi người yêu. Tiếng gọi của họ bập bùng qua các vách đá, thật thống thiết lâm ly. Rồi chàng trai cũng kiệt sức, hoá đá ở trong hang – nay được gọi là hang Trống”. Ngày nay mỗi khi tàu thuyền qua đó, nếu chú ý, du khách hẳn nghe được tiếng gọi tha thiết, văng vẳng đâu đây của chàng trai.