육화정으로 불리던 것이 귀래정이 된 것은 1930년대로 추정되며 이는 중종 때 문신 이철명을 추모하기 위함으로 도연명의 ‘귀거래사’에서 비롯되었다. 
귀래정은 『천서가숙상량문(川西家塾上梁文)』의 ‘숭정기원후삼을해(崇禎紀元後三乙亥)’라는 명확한 기록을 통해서 1755년(영조 31) 지헌공파(止軒公派)의 가숙으로 지었음을 알 수 있다. 1933년 발간된 『경주읍지(慶州邑誌)』와 『동경통지(東京通誌)』에 육각정이 눈꽃모양이라 하여 육화정(六花亭)으로 불렸다는 기록이 있다. 귀래정이라 명명한 것은 1937년과 1938년의 『귀래정기(歸來亭記)』로 보아 1930년대로 추정된다. 귀래정이라 함은 중종 때 문신 이철명(李哲明, 1477～1523)을 기리면서 추모하기 위해 개명하였는데, 도연명의 ‘귀거래사’에서 따왔다. 뒤쪽의 관리사는 1894년에 건립했다.