第 3 窟在上层石窟的东南端，第1窟上方，其前廊较深，石窟位置较第1窟更加靠后。窟内空间较小，三面有龛。石窟内已经没有任何造像还在原先的位置上。石窟外面残留了一些建筑元素，例如石柱、石屋檐和屋檐上的一只鸟的形象。由于后人要在石窟上修建木构建筑，石屋檐的一部分被凿去。从这些残留建筑元素中我们也可以看到第3窟和北齐许多其他佛教石窟一样具有覆钵形屋顶。

第 4 窟原先属于位于第2窟上方的一组洞窟。第4窟和第6窟为一对，而第5窟在它们中间。根据历史照片，我们可以看出第4、6窟内部的三壁上都曾有坐于莲花座上的佛像和菩萨像，并且两旁有立身胁侍，而现在这些造像已经全部消失。由于这些造像都是独立的雕像，没有和石窟的壁面连接在一起，所以方便盗取，如今只剩下莲花座。而在上个世纪中期，为了腾出更多的空间当仓库，连这些莲花座也被凿去。石窟内还剩下一些造像残块，它们应该都是来自第4窟的。石窟上半部分还有遗留下来的《法华经》刻经，内容为《观世音普门品》， 宣扬观音菩萨慈悲普救众生于苦难的法力。