귀래정의 조경은 도교적 신선사상 등에 따른 상징과 그 의미를 부여받았으며, 이는 귀래정만의 고유성이다. 잡신을 배척하기 위한 회화나무와 정자가 풍요를 상징함을 바라며 심은 계수나무가 그 예라고 할 수 있다. 
귀래정과 관리사가 전후로 연접하여 담장으로 둘러싸여 있다. 귀래정 담장의 높이는 예전보다 한단 정도 높아지고 삭풍이 부는 북쪽 담장을 제외한 나머지에는 4등분한 양단부에 각각 2개씩 있었던 낸 바람구멍이 없어졌다 한다. 바람구멍은 곽내의 공기 순환을 목적으로 낸 것으로 크기는 사람의 목이 드나들 수 있는 정도의 방형이었다. 통풍구는 자연의 이치에 따른 바람 길을 이용하여 쾌적한 환경을 갖게 한 지혜로운 시설로 아주 귀한 예다. 귀래정의 출입은 전방의 담장 가운데에 낸 사주문과 뒤쪽 관리사와 통하는 일각문으로 드나든다. 사주문을 들어서면 앞쪽에 ⌟형으로 감싼 연지가 조성되어 있고, 건너는 다리 너머에 귀래정이 남향으로 앉아 있다. 연지는 흔치 않은 형태로 길잡이 역할을 하고 수명과 복을 관장한다는 북두칠성을 형상화 한 것이라 한다. 연지 물은 용천수로 채워지고, 출수는 남서쪽 모서리부에 있다. 연지가 건물을 감싸는 특이한 형태로 조성한 경우는 흔치 않다. 다리는 현재 화강석 다리이나 옛 사진을 보면 원래 외나무 다리였음을 알 수 있다. 다리를 건너면 정자 앞쪽 좌 우에 각기 4개와 2개의 검은색 괴석 6개가 놓여 있다. 괴석은 계수나무를 상징하고 이들 중 맨 좌우측 끝에 있는 두 개의 큰 괴석은 각각 어래산과 문중산을 바라보게 했다. 어래산은 서쪽 멀리 있고, 문중상은 좌측 가까이 있는 산으로 그 연유는 알 수 없다. 계수나무는 정자가 풍요를 상징하는 달이 되게 함이라 한다. 이런 조경의 전반은 도교적 신선사상 등에 따라 상징과 의미를 부여한 것으로 귀래정에서만 찾아 볼 수 있는 고유함이다. 곽내의 남동과 북서 모서리에는 회화나무가 1주씩, 남서와 북동쪽에는 향나무 1주씩, 동편과 서편에는 각각 배롱나무와 동백나무가 있다. 모서리의 회화나무는 잡신을 배척하기 위해 심은 것으로 민간신앙적 주술이다.