除了南响堂山和北响堂山石窟之外，还有第三处水峪寺石窟，这里通常被叫做“小响堂”。水峪寺西窟是此处最早的石窟，开凿年代为北齐时代。这个洞窟也是中心柱窟型的，仿照了北响堂山的样式，但是体积小很多，只有5.35米宽，5.5米深和4.9米高。中心柱的三面都有大佛龛，侧壁上还有两个大龛。小型的石刻，如神王，僧人等，都在中心柱基座上。前壁上还有一排排供养人像，千佛和飞天的形象。