马勒在1892年2月创作了五首“幽默曲”，其中第五首是《天国的生活》。他最初打算将其作为第3号交响曲的结束，取名为“小孩告诉我”，但最终取消了这个计划。他决定将其中的某些旋律加工后放入了“天使告诉我”的一部分。在构思第4号交响曲时，马勒注意到《天国的生活》有着非比寻常的潜力，并决定将其扩展成一整部交响曲。马勒在1899年开始正式创作这部新交响曲，当时他成为了维也纳国家歌剧院的总监。维也纳给了他灵感，使他创作出了富有田园诗意的第4号交响曲。马勒在萨尔茨卡默古特度假期间构思了这部作品，并在回到维也纳后继续努力创作。他还决定建一座供自己创作的房子。