고서 기록을 통해 본 영묘사는 규모가 상당했으며 3층짜리 건물도 있었으나 1515년경 화재로 소실되었다.
영묘사는 『삼국유사』에 신덕왕神德王 4년(915) 영묘사 안의 행랑에 까치집이 34개나 되고 까마귀집이 40여개나 있었다는 기록을 통해 보면 상당한 규모의 사찰이었을 것으로 추정된다. 후대의 기록이기는 하나 『신증동국여지승람』에 “불전은 3층으로서 체제가 특이하다. 신라 때의 불전이 한둘이 아니었으나 다른 것은 다 무너지고 헐렸는데 유독 이 불전만은 완연히 어제 지은 것 같은 모습으로서 있다.”고 한 것에서 3층 높이의 건물이 있었음도 알 수 있다. 이후의 변천 과정은 알 수 없지만, 조선 중기의 문신인 권벌權橃이 쓴 『충재집冲齋集』에 중종 10년(1515) 화재로 소실되었다는 내용이 있으므로 그 무렵에 폐사廢寺된 것으로 추측할 뿐이다.