Dne 12. června 1849 Blackburn ženatý jeho přítel z dětství Jemima Wedderburn. Blackburn se poměrně překvapivě starší bratr Peter Blackburn ženatý Jean Wedderburn, starší sestra Jemima. Hugh a Jemima měl čtyři děti; William (pojmenované po jeho boha-otce William Thomson), Margaret, Hugh, a Alan.
Rather surprisingly Blackburn's elder brother Peter Blackburn married Jean Wedderburn, an elder sister of Jemima. Hugh and Jemima had four children; William (named after his god-father William Thomson ), Margaret, Hugh, and Alan.