William war auch für seinen hohen Stand sehr wohlhabend, hatte ein tiefes Verständnis kulturellen Erbes und interessierte sich sehr für bildende Kunst und Literatur. 1812 kaufte für 10.000 Pfund die Bibliothek des Bischofs von Ely und 1821 die Sammlung dramatischer Werke von John Kemble. Die meisten der Gemälde, die seine Anwesen Devonshire House und Chiswick schmückten, hängen heute in der Long Gallery von Chatsworth House. Durch diese Leidenschaft bekam er die Bezeichnung Bachelor Duke.