1555년 10월 25일에 퇴위한 카를 5세는 통풍을 앓으면서 말년을 보내다가 자신과 아내가 묻힐 수도원 창설을 유언으로 부탁하며 1518년 9월 21일 58세에 죽었다.
 1555년 10월 25일 카를 5세의 퇴위식은 ‘브뤼셀의 퇴위’로도 불리는데, 기록이 정확하다. 그는 자신의 고문 어깨에 기대어 울먹이면서 이렇게 말했다(요지).
 “내가 황제가 된 것은, 오로지 오스만튀르크로부터 가톨릭 세계를 수호하기 위한 목적이었다. 그 목적을 거의 달성하였을 때 프랑스 왕과 독일의 몇 사람이 나를 공격하기에 할 수 없이 무기를 들어야 했다. 고백하건대 내가 알고도 정의롭지 못한 일을 한 적은 없지만, 그런 일이 있었다면 고의로 한 것이 아님을 알아주기 바라며 그런 일을 당한 이들이 여기 있다면 용서를 구한다.”
 그는 퇴위사에서 변혁의 시기에 얼마나 많은 곳을 돌아다녔는지 설명했다. 네덜란드에 열 번, 이탈리아에 일곱 번, 프랑스에 네 번, 잉글랜드에 두 번, 북아프리카에 두 번. 그는 “나의 생애는 긴 여행이었다”고 술회한다. 이 말은 도쿠가와 이에야스가 남긴 “인생이란 무거운 짐을 지고 먼 길을 가는 것과 같다”라는 명언과 통한다.
 다음 해 그는 스페인과 그 관할지(시칠리아, 나폴리 왕국, 밀라노 공국, 네덜란드 등) 및 식민지(남아메리카, 필리핀 등)를 아들 펠리페 2세에게 넘기고, 신성로마제국의 황제 자리는 동생 페르디난트에게 인계한 뒤 배를 타고 스페인으로 가서 수도원으로 들어가 은둔하였다. 티치아노의 그림에 둘러싸여 통풍을 앓으면서 말년을 보내다가 말라리아에 걸려 1518년 9월 21일 58세에 죽었다. 아내 이사벨라가 죽을 때 쥐고 있던 십자가를 쥔 채였다. 자신과 아내가 묻힐 수도원 창설을 유언으로 부탁했다.
