הוא נולד ב-12 בפברואר1752 במסטיק ביץ', פרובינציית ניו יורק, אז חלק מאמריקה הבריטית. הוא היה בנם של סנאטור מדינת ניו יורק ויליאם סמית' (1720–1799) ומרי (לבית סמית') סמית' (1735–1758). הוא היה נינו של השופט העליון ויליאם "טנג'יר" סמית' (1655–1705).
אמו נפטרה ב-22 באפריל1758, שבוע לאחר לידת הבת מרי שמתה בשנה שלאחר מכן.[1] הוא התגורר במנור סנט ג'ורג' במסטיק ביץ', מחוז סאפוק, ניו יורק. בשנת 1762 נישא אביו לרות' וודהול (1740–1822), אחותו של הגנרל נתנאל וודהול (1722–1776), ומנישואים אלה היו לג'ון שישה אחים למחצה.[2]
ויליאם סמית' (1777–1857), שנישא לחנה קרמן (1785–1861), בתו של סמואל קרמן.[6]
שמונה שנים לאחר מותה של לידיה במהלך הלידה ב-1777, הוא התחתן בשנית ב-1785 לאליזבת פלאט (1765–1787), בתם של מרי (לבית ואן וויק) פלאט והשופט זפניה פלאט, חבר הקונגרס המחוזי בניו יורק. בין אחיה היו חבר בית הנבחרים ג'ונאס פלאט וגזבר מדינת ניו יורק צ'ארלס ז. פלאט. אליזבת מתה במרץ 1787, שנתיים בלבד לאחר נישואיהם.[5]
ב-21 באוקטובר1792, הוא נישא בפעם השלישית לאליזבת (לבית וודהול) ניקול (1762–1839).[7] אליזבת, אלמנתו של הנרי ניקול (נכדו של ויליאם ניקול),[8] הייתה בתם של נתנאל וודהול ורות (לבית פלויד) וודהול (אחותו של ויליאם פלויד, מהחותמים על הכרזת העצמאות).[9] יחד, הם היו הורים לארבעה ילדים:[7]
שרה אוגוסטה סמית' (1794–1877), שנישאה למבקר העיר ניו יורק ג'ון ל. לורנס, בנו של הסוחר ג'ונתן לורנס.[10]
אגברט טנג'יר סמית' (1796–1879), שנישא לשרה שנק, בתו של הגנרל ויליאם קורטנוס שנק ואחותו של הגנרל רוברט שנק, שגריר ארצות הברית לבריטניה הגדולה.[5]
צ'ארלס ג'פרי סמית' (1803–1876), שנישא ללטיטיה ג'יין סוידם (1808–1872), בתו של ג'ון סוידם מניו יורק.[5]