신라 말 마의태자가 절과 불상을 세웠고 여동생은 제천 덕주사마애불을 조성했다지만 대규모 건축 능력은 의문이고 실제 건립은 고려 초기로 추정된다. 13세기 중반 몽고군과 접전 과정에서 소실로 추측할 뿐이다.
기록이 없어서 어느 때 누가 절을 세웠고 어느 때 폐사가 되었는지 알 길은 없지만, 전설에 의하면 신라 말 마의태자麻衣太子가 나라의 멸망을 슬퍼하여 이곳에 와서 절을 조성하고 불상을 세운 후 개금강산, 즉 개골산皆骨山으로 들어갔고, 여동생은 제천의 덕주사마애불德周寺磨崖佛을 조성했다고 하지만, 패망한 나라의 왕자가 이렇게 큰 절을 지을 경제력과 사람들을 동원했을 것 같지는 않다. 석굴의 웅장했던 규모나 불상의 거대한 체구로 보아 고려 초기 왕성한 나라의 국력으로 국방의 요지인 이곳에 큰 절을 지었을 것으로 추정하고 있다. 몽고군이 침입한 13세기 중반 이곳 충주지역에서 몇 차례 큰 싸움이 전개되었다는 기록이 있는데, 이 절 역시 그때 화재를 당해 폐사지가 되었을 것으로 추측할 뿐이다.