Lễ hội truyền thống chùa Nhẫm Dương diễn ra trong 2 ngày 9 - 10/4 với các nghi lễ như: Thuyết pháp giảng đạo, niệm Phật cầu gia bị, cung tuyên lược sử Thánh tổ Thủy Nguyệt, dâng hoa, hương, lễ mộc dục Thánh tổ, cúng đàn Mông Sơn thí thực, trồng cây cầu quốc thái dân an... Ngoài ra, còn có nhiều trò chơi dân gian như cờ tướng, kéo co, đập niêu đất, nhảy bao bố...
Chùa Nhẫm Dương được xây dựng từ thời Trần, nằm trong quần thể núi non, hang động đá vôi rất đặc sắc. Tại đây đã phát hiện những di cốt hóa thạch của người tiền sử cùng nhiều di vật khảo cổ như: đồ gốm Việt - Hán từ thế kỷ I đến thế kỷ III; hóa thạch răng người có niên đại cách đây từ 3 - 5 vạn năm; vật liệu kiến trúc và trang trí thời Trần; Bộ sưu tập gốm sứ, đất nung thời Đinh - Lê, Lý - Trần, thời Lê sơ, thời Lê Trung Hưng; các hiện vật thời văn hóa Đông Sơn như mũi giáo, thạp đồng…
Chùa còn là di tích lịch sử cách mạng gắn liền với 2 cuộc kháng chiến chống Pháp và chống Mỹ. Hệ thống hang động ở Nhẫm Dương như động Thánh Hóa, Tĩnh Niệm đã có nhiều đơn vị về đóng quân. Nhiều lãnh tụ cách mạng như đồng chí Lê Thanh Nghị, Hoàng Quốc Việt... đã dùng hang làm trụ sở chỉ huy của Đệ tứ Chiến khu Đông Triều.
Với những giá trị đặc biệt to lớn về lịch sử Phật giáo và khảo cổ học, ngày 22/12/2016, Thủ tướng Chính phủ quyết định xếp hạng Di tích lịch sử và danh lam thắng cảnh quần thể An Phụ - Kính Chủ - Nhẫm Dương là Di tích quốc gia đặc biệt.
Chùa Nhẫm Dương, còn gọi là chùa Thánh Quang, xã Duy Tân, huyện Kinh Môn bởi ngôi chùa gắn liền với sự "hóa thánh," nghĩa là sự viên tịch kỳ lạ của vị đệ nhất tổ sư phái Tào Động là Thủy Nguyệt. Dấu tích của sự viên tịch này vẫn còn lưu giữ trong hang Thánh Hóa cùng hang Tĩnh Niệm phía sau chùa và được sử sách ghi lại rất rõ trên văn bia bằng chữ Hán.
Hòa thượng Thủy Nguyệt, sinh năm 1637, quê ở đạo Sơn Nam (nay thuộc tỉnh Thái Bình). Năm 20 tuổi, Thủy Nguyệt xuất gia tại chùa Xã Hồ, huyện Thụy Anh (nay là huyện Thái Thụy, tỉnh Thái Bình). Năm 28 tuổi, ông hành hương sang phương Bắc học đạo và trở thành đệ tử của Hòa thượng Trí Giáo Nhất Cú, tổ đời thứ 35 của Thiền phái Tào Động. Trải qua thời gian khổ luyện tu hành, Hòa thượng Thủy Nguyệt thành chính pháp, được ban pháp hiệu và cho về nước để truyền pháp. Tính theo hệ phái, Hòa thượng Thủy Nguyệt là tổ đời thứ 36 của Thiền phái Tào Động Trung Hoa và là Đệ nhất tổ Thiền phái Tào Động Việt Nam.
Với ân đức tu hành, Thiền sư Thủy Nguyệt đã khai nguyên chốn tổ Nhẫm Dương làm nơi thuyết pháp, phổ độ chúng sinh. Thiền sư còn đi truyền bá Phật pháp ở chùa Côn Sơn, Quỳnh Lâm, Yên Tử, Đông Sơn, khai sáng chùa Hòe Nhai (Hồng Phúc tự) ở Hà Nội...
Đến năm 1704, Thánh tổ Thủy Nguyệt viên tịch. Các đệ tử tiếp tục sự nghiệp truyền pháp, đưa Tào Động trở thành môn phái nổi tiếng của Phật giáo Việt Nam và ngày viên tịch của Thánh tổ được lấy làm ngày tổ chức Lễ hội truyền thống chùa Nhẫm Dương (ngày 5/3 âm lịch hàng năm).