Chùa Thanh Sơn nằm bên suối nước từ Thung Luộn chảy ra, cạnh đó là một động sâu vào lòng núi mà các nhà khảo cổ học đã phát hiện được ở động này có nhiều hiện vật thời tiền sử có niên đại trên một vạn năm. Trong động có rất nhiều nhũ đá đẹp.

Chùa Thanh Sơn được hình thành từ năm Canh Thân (1860) trên thế đất mà theo thuyết phong thuỷ là thế đất Phượng Hoàng ẩm thuỷ (chim Phượng Hoàng uống nước) nhìn ra vùng có nhiều gò đất mà thuyết phong thuỷ gọi là kiểu đất “tam đăng chiếu nhất thư” (ba ngọn đèn chiếu vào một cuốn sách). Dựa vào thuyết phong thuỷ đẹp, dân làng Hội Xá đã mời các vị trụ trì chùa Thiên Trù ra yên vị lư hương và đặt nền tam bảo trên đất “Phượng Hoàng uống nước”.

Nhưng hoàn cảnh thời gian lúc bấy giờ các vị hoà thượng ở Thiên Trù chỉ lui tới vui cảnh tham thiền, nên chùa Thanh Sơn dần ít người qua lại. Chùa Thanh Sơn chính thức có người trụ trì từ năm 1930. Nhân dân làng Hội Xá được sự giúp đỡ của gia đình cụ Nguyễn Thị Ngữ, quê huyện Quế Võ tỉnh Bắc Ninh, mời được sư thầy Đàm Thuyết về trụ trì chùa Thanh Sơn. Và cũng trong năm này Sư thầy Đàm Thuyết cùng dân làng Hội Xá mở ra động Hương Đài làm nơi thờ phật.

Sư Thầy Đàm Thuyết viên tịch, cảnh chùa vắng vẻ tiêu điều. Năm Bính Ngọ (1966) sư thầy Đàm Trâm về trụ trì, sau đó là sư thầy Đàm Nhu rồi đến sư thầy Đàm Tịnh, cùng với dân thôn Hội Xá và thập phương, dần xây dựng chùa Thanh Sơn – Động Hương Đài thành một thắng cảnh đẹp trong khu danh thắng Chùa Hương.