Jego historia niezbyt nadaje się na hollywoodzki film o „pierwszym w USA czarnym, który dał radę”, bo po ludzku ks. Tolton poniósł klęskę. Pokazał za to, jak być wiernym wbrew wszystkiemu i wszystkim.

Dziadkowie przyszłego księdza oraz ich córka Martha zostali ochrzczeni na polecenie pana, plantatora z Kentucky Johna Manninga. Martha – choć nie było to oczywiste u kogoś, komu religię narzucono bez pytania o zgodę – nie opuściła Kościoła do końca życia. Gdy córka Manninga wychodziła za mąż, w posagu dostała grupę niewolników, w tym 16-letnią Marthę. Młoda niewolnica została odłączona od członków swojej rodziny i nigdy więcej ich nie spotkała. Razem z nowymi właścicielami trafiła do Missouri. Tam poznała Petera Paula Toltona, także niewolnika. Poślubiła go i urodziła troje dzieci. Jednym z nich był Augustine, którego do końca życia zdrobniale nazywano Gusem.