Sarah wurde in eine vermögende Familie hineingeboren. Ihr Vater, Peter Yorke, war ein Kapitän und erfolgreicher Kaufmann. Er starb 1815. Sarahs Mutter, Mary Haines Yorke, starb 1820 und hinterließ Sarah und deren zwei Schwestern. Sie wuchs bei zwei Tanten auf.
Sie heiratete Andrew Jackson jr. am 24. November 1831 in Philadelphia. Jackson jr. war ein Adoptivsohn des Präsidenten Andrew Jackson. Sie hatten fünf Kinder, von denen Rachel, Andrew und Samuel das Erwachsenenalter erreichten. Die letzten beiden Kinder Thomas und Robert verstarben im Kindesalter.[1]