5형제와 가족의 묘가 동일한 장소에 있는 것으로 보아 벼슬살이를 위한 상경과 본적지와의 왕래가 있었던 것을 알 수 있다. 하지만, 김영수 아들의 묘는 남양주 근처에서 발견되었으며 이 아래로 여럿이 경복궁 근처에서 발견되었다. 이로 인해, 이들을 장동 김씨라고 부른다. 
벼슬살이를 위한 상경 및 외지 근무와 본적지인 소산 사이의 왕래는 시간이 한동안 이어진다. 10세와 이들 5형제가 있었던 11세의 묘소가 모두 소산(역동재사)에 있는 것은 그 증좌이다. 그러나 김영수의 아들 12세 金璠(1497-1544) 이후의 묘소는 서울 인근의 남양주 석실에 있다. 특히 김번의 아래에서 15세에 金尙憲과 金尙容의 두 정승이 나왔고, 이어서 17세 대에 金壽增, 金壽興, 金壽恒, 18세 대에 金昌集, 金昌協, 金昌翕, 金昌業등의 인물을 배출하였으며, 마침내 22세 대에 조선후기 안동 김씨 세도가의 핵심인 金祖淳이 나옴으로써, 조선 제일의 세도가로 발전하였다. 이들이 서울에 자리한 곳이 경복궁의 서쪽 장동이고, 대대로 세거하였기 때문에 이들을 특히 장동 김씨라고 좁혀서 말한다. 한편 소산에 정착한 김씨 가문에서도 10세 김계권의 동생인 金係行(1430-1465)은 소산을 떠나 길안 묵계에 정착하여 이들과 구분된다. 묵계종택과 묵계서원이 현재도 문화재로 지정되어 보존되어있다.