Philadelphia, 1830. Jamie, zoon van een plantage-eigenaar en een slavin, vermoordt als jonge jongen zijn vader en vlucht naar het Noorden. Eenmaal in Philadelphia gaat hij door het leven als James Burton, een welgestelde blanke zilversmid. Op een dag is zijn dierbare jonge hulp Pan verdwenen. Diens vader, Henry, vraagt James om op zoek te gaan naar Pan. James staat nog in het krijt bij Henry, omdat hij James ooit gered heeft toen hij zelf op de vlucht was voor meedogenloze slavenjagers. Daarom gaat James op zoek naar Pan.

De auteur maakt de worstelingen van James goed zichtbaar. Aan de ene kant wil hij zijn geheim bekend maken, maar hij is ook bang om de liefde van zijn adoptieouders en zijn geliefde Caroline kwijt te raken.

Het tweede deel van het boek beslaat de zoektocht naar Pan, dit is ook het deel waarin meer spanning ontstaat en je als lezer helemaal meegesleept wordt in het verhaal. James gaat naar het Zuiden om op zoek te gaan naar Pan en komt daarmee dicht in de buurt van zijn ouderlijk huis, met de gemene slavendrijvers die James nog altijd angst aanjagen.

Schrijfster Kathleen Grissom heeft in Terug naar het Zuiden een goed en indringend beeld weten te schetsen van deze tijd van slavernij en de periode waarin ontsnapte slaven probeerden te overleven onder moeilijke omstandigheden, waarin zij door velen nog niet geaccepteerd werden als vrije mensen. De moed en intelligentie van de zwarten in dit boek maken indruk, vooral de jonge slavin Sukey toont veel kracht en doorzettingsvermogen en is een sterk personage in dit boek.