Vào những ngày đầu quý II năm 1965, khi giặc Mỹ bắt những người tù có án chung thân bị giam ở trại Phú Hải đi xây chùa Vân Sơn Tự. Những tù nhân này đã phải khuân vác vật liệu xây dựng từ dưới chân núi lên đỉnh núi rất vất vả và gian khổ. Tại hiện trường, tù nhân phản đối quyết liệt, tuy nhiên tên cai quản vẫn không hề chú tâm gì đến.
Đến năm 1975, sau khi Côn Đảo được giải phóng, chùa trở thành nơi thờ Phật, tín ngưỡng tâm linh của người dân trên đảo. Nhờ vào sự tài trợ của Báo Công an Nhân dân, quỹ thiện tâm, quỹ tấm lòng vàng gần xa,… dự án đầu tư xây dựng, tôn tạo di tích chùa Vân Sơn Tự đã được triển khai nhanh chóng với tổng kinh phí gần 100 tỷ đồng. Sau gần một năm thi công, sửa chữa và tôn tạo, chùa Vân Sơn Tự đã được hoàn thiện vào tháng 12 năm 2011.
Nếu có dịp đi du lịch Côn Đảo bạn hãy ghé tham chùa Vân Sơn Tự, để đến được đây có 2 cách: Đó là đi bộ lên những bậc thang hoặc chạy bằng xe máy lên chùa bằng một con đường ở gần cổng chùa. Khi lên đến chùa, bạn sẽ bắt gặp một không gian thanh tịnh, thoải mái với mùi hương dịu dàng của biển, của khói hương nhiệm màu. Đồng thời tận hưởng cảm giác bình yên với tiếng chuông chùa, với những bài kinh đầy ý nghĩa.
Hiện nay hầu hết trong các lịch trình tour du lịch Côn Đảo đều không bỏ qua điểm đến linh thiêng như chùa Vân Sơn Tự. Vậy cso thể nói đến đây bạn không chỉ được hào mình vào biển xanh cát vàng, hòa mình vào những con sóng biển ôn hòa, mà đến đây bạn có dịp tham lại mảnh đất lịch sử, hay những khu du lịch linh thiêng như chùa Vân Sơn Tự – Côn Đảo.