Nếu có dịp đi du lịch Côn Đảo bạn hãy ghé thăm điểm đến linh thiêng này, khi bước qua cổng chào, bạn sẽ cảm nhận được sự linh thiêng, trang nghiêm với sự im lặng đến ngỡ ngàng. Tất cả mọi người tới đây đều nhẹ nhàng, và cẩn trọng.
Theo những bậc cao niên nơi đây kể rằng, An Sơn miếu gắn liền với câu chuyện bi thương của mẹ con bà Phi Yến. Năm 1783, sau khi thua quân Tây Sơn, Nguyễn Ánh mang theo vợ, con và thuộc hạ chạy ra đảo Côn Sơn.
Cùng với những người dân chài đang sinh sống ở đây, Nguyễn Ánh đã lập nên 3 làng là An Hải, An Hội và Cỏ Ống. Ðể đánh lại quân Tây Sơn, Nguyễn Ánh dự định gửi con cả là Hoàng tử Cảnh đi theo cố đạo Pháp (Bá Ða Lộc) sang Pháp cầu viện. Bà Phi Yến can chồng đừng “cõng rắn cắn gà nhà”.
Trong cơn tức giận Nguyễn Ánh đã ném con xuống biển. Xác hoàng tử Cải trôi vào bãi biển Cỏ ống và được dân làng chôn cất. Bà Phi Yến cũng theo truyền thuyết được cứu ra khỏi hang, về sống với dân làng và trông nom mộ hoàng tử Cải. Một lần, sau khi bị một kẻ xấu xúc phạm, bà đã tự tử để thủ tiết.