정광필은 김안로의 계략에 의해 유배를 떠났으나 6개월 만에 김안로 세력이 실각하는 바람에 한양으로 돌아와 중추부 영사를 맡게 되었다.
 두 번째 위기는 당대의 권간(權奸) 김안로(金安老)와의 충돌에서 찾아왔다. 처음에 안로가 아직 현달(顯達)하지 않았을 때 정광필이 그를 ‘간사한 사람[憸人]’으로 지목한 바 있었다. 그가 임금과 인척이 되자 내전(內殿) 세력에 의지하여 호곶(壺串)의 목장을 차지해 전답(田畓)을 만들려고 했다. 공이 태복시제조(太僕寺提調)로 재임하면서 법을 끌어대어 허락하지 않자 또 임금의 명령이라고 일컬으면서 반드시 그곳을 얻으려고 했다. 그러나 정광필이 굳게 거부하고 따르지 않자 김안로가 앙심을 품었다. 김안로가 폄척(貶斥)되어 지방에 있을 적에 그를 방환(放還)하려는 자가 있었는데 정광필이 또 자주 그 일을 중지시켰다.
 이윽고 김안로가 권력을 쥐게 되자 사사로운 원한을 복수하고자 꾀하여 조정에 화근(禍根)을 빚어냈는데, 공이 재상인 이행(李荇)에게 말하기를 “김안로는 결코 착한 사람이 될 수 없다”고 하니 이로 말미암아 원한을 쌓아 온갖 방법으로 공을 함정에 빠뜨렸다. 결국 정광필은 영의정에서 물러나 중추부 영사(領事)가 됐다. 실권(實權)이 완전히 사라진 것이다. 그리고 김안로의 계략에 의해 1537년 유배를 떠나야 했다.
 다행히 6개월 만에 김안로 세력이 실각하는 바람에 정광필은 한양으로 돌아와 다시 중추부 영사를 맡았는데, 그가 한양으로 돌아올 때의 모습과 더불어 그가 세상을 떠난 사실을 신도비는 이렇게 묘사하고 있다.
 “서울로 들어오던 날에 도성 사람들이 발돋움하여 구경하느라 저잣거리가 텅 비었으니, 마치 사마광(司馬光)이 낙양(洛陽)에서 궁궐로 나아오던 때에 조야(朝野)가 목을 빼고서 그가 재상으로 복직하는 것을 바라보던 것과 같았다. 그러나 갑자기 질병에 걸려 일어나지 못했으니 무술년(戊戌年·1538·중종 33년) 12월 갑신일(甲申日)로 춘추는 77세였다.”
