김춘추와 함께 신라의 기둥 같은 존재가 된 김유신은 무열왕 7년 상대등으로 승진해 고종이 파견한 군사와 함께 백제 정벌에 나선다.
 선덕여왕 9년, 즉 서기 642년 백제는 대야성(大耶城) 등 신라 서쪽 40여 성(城)을 쳐서 함락시켰다. 이때 김춘추의 사위였던 대야성 성주 김품석(金品釋) 부부가 죽었다. 김춘추는 딸의 원수를 갚기 위해 고구려에 원병을 요청하러 떠났다. 고구려로 가기 전날 김춘추가 김유신에게 물었다.
 “지금 내가 고구려에 사신으로 가려 하는데, 60일이 지나도 내가 돌아오지 않으면 다시는 나를 볼 수 없을 것이다. 그렇게 된다면 공은 어찌하겠소?” 김춘추의 물음에 김유신은 이렇게 말했다. “그렇게 된다면 내가 탄 말의 말발굽이 반드시 백제와 고구려, 두 나라 왕의 정원을 짓밟을 것이오.”
 두 사람은 손가락을 깨물어 피의 맹세를 나눴다. 김춘추가 떠난 뒤 지금의 경북 경산 일대인 압량주(押梁州)의 군주(軍主)로 옮겨간 그는 김춘추가 고구려에 억류되자 결사대를 조직했다. 이 소식을 신라에 있던 고구려의 첩자가 전하자 고구려의 연개소문(淵蓋蘇文)은 김춘추를 풀어 줬다.
 644년 진골이 오를 수 있는 최고 관등인 소판(蘇判)이 된 김유신은 그해 가을 백제의 일곱 개 성을 점령했으며 645년 백제 장군 계백(階伯)이 매리포성에 쳐들어오자 집에 들르지도 않고 곧바로 출전해 계백이 이끄는 백제군 2000여 명의 목을 베는 대승을 거두게 됐다.
 김유신은 김춘추와 함께 647년 일어난 비담의 난을 진압하는가 하면 대야성에서 죽은 김춘추의 사위 김품석 내외의 유골을 송환받는 데 성공하는 등 신라의 기둥 같은 존재가 됐다. 무열왕 7년(660년) 상대등으로 승진한 김유신은 그해 6월 당 고종이 파견한 군사와 함께 백제 정벌에 나선다.
