Sách Lịch triều hiến chương loại chí, Phan Huy Chú chép: "... Núi Hinh Bồng ở ngoài núi Hương Tích dưới chân núi có sông dài quanh co. Hai bên có núi đá vách đứng, có một đường tắt đi xuyên vào coi như cửa long môn quỷ thần tạc ra. Ở trên vách đá có hàng ngàn nhũ đá rủ xuống như hạt ngọc chiếu, cảnh sắc như vẽ…”.

Tháng ba năm Canh Dần (1770) Tĩnh Đô Vương Trịnh Sâm trẩy hội Chùa Hương đến đây đề thơ:

“Chân núi đường xuyên một nẻo dài,

Hóa công mài chuốt đã bao đời.

Non xanh, nhường thấy non không đất,

Suối biếc, nhìn qua suối gặp trời

Đá nhuốm ráng chiều - nền gấm điểm,

Sóng rung dải nhũ - hạt châu rơi

Chim trời cá nước vui chung cảnh,

Ngọn bút khôn đem tả hết lời.”

(Bản dịch của Quách Vinh)

Nhưng động Hinh Bồng vì một lý do nào đó bị vùi lấp đến nay vẫn chưa tìm ra được.

Năm Nhâm Thân (1932) hội thiện làng Yến Vĩ (làng sở tại) xin quan tỉnh mở một động nhỏ trên đỉnh núi Thung Gạo, mượn tên là động Hinh Bồng. Năm Qúy Dậu (1933) hội thiện được bà Hải Khoát - một thương gia tín đồ phật tử quê ở Hải Phòng tài trợ xây dựng thành chùa. Năm quý mùi 1943 đúc chuông đồng lớn (hiện treo ở động). Năm Nhâm Thân (1992) do núi chấn động, một tảng đá rất lớn (hơn một trăm khối) cùng bốn khối đá nhỏ lở lấp cửa động.

Những tảng đá đã được nhà chùa thuê phá dọn. Hiện nay cùng với sự công đức của du khách thập phương ngôi tam bảo và điện mẫu dã được xây để thờ phật.