청원루 건축에는 김상헌이 청나라 볼모에서 풀려나 1645년 조부의 집터에 누각식으로 재건했다는 淸遠樓란 이름의 설이 있으나 그의 행장은 타당성이 없다. 그의 거처는 소산이 아닌 남양주였으며 기간도 아버지와 어머니의 상에 의해 18~21년에 머문 것과 37~40년이다. 1624년 탈상 후 관직으로 복귀했으며 그의 소산 거주는 개인적 휴지기에 이루어졌다. 후에 소산에 머무르던 시기에도 조금 떨어진 서미마을의 초가에서 스승을 하며 은거했다.
청원루의 건축과 관련된 두 번째 이야기, 그리고 더 널리 알려져 세간에 오가는 이야기는, 그의 증손자인 김상헌이 청나라에 볼모로 끌려갔다 돌아온 1645년 옛 할아버지 집터에 새롭게 누각식으로 고쳐지었다는 설이다. 이 가설은 淸遠樓라고 하는 이름을 ‘청나라를 멀리 한다’는 뜻으로 해석하면서 더욱 그럴싸하게 받아들여지게 되었다. 하지만 김상헌의 행장을 볼 때 이 이야기는 성립하기 어렵다. 즉, 김상헌이 청나라에서 돌아와 머문 곳은 소산이 아니라 선조의 서울 묘가 있는 남양주 석실이었으며, 오히려 김상헌이 소산에 머문 기간은 그 이전인 1618년에서 1621년 사이의 기간 그리고 1637년부터 1640년 사이이다. 1618년 김상헌은 생부인 김극효의 상을 당했으며, 1621년에는 생모 정씨의 상을, 그리고 그 다음해인 1622년에는 모친 이씨의 상을 거듭 당했다. 이 시기 김상헌은 소산과 양주 석실에서 각각 삼년상을 치렀다. 1623년 인조반정이 일어났을 때 김상헌은 양주 석실에서 시묘살이를 하고 있었으며, 1624년 탈상을 하고 난 이후 본격적인 관직생활로 복귀한다. 즉 김상헌이 소산에 머문 시기는 개인적인 이유와 함께 북인의 집권기라고 하는 정치적 이유로 인해 김상헌의 활동이 개인적 차원에 머문 휴지기가 된다. 한편, 김상헌이 다시 안동에 머문 시기는 병자호란이 끝나 삼전도의 굴욕을 보고 난 후인 1637년부터 청나라의 압력으로 심양으로 압송되어가는 1640년까지의 기간이다. 이때는 초기에 잠시 소산에 머물렀으나 1638년 이후 소산마을에서 북쪽으로 20리 정도 떨어진 학가산 아래 서미마을에 木石居라 이름 한 초가를 짓고 학생들을 모아 글을 가르치며 북송될 때까지 은거하였다.