Elizabeth nacque a Leven Lodge nei pressi di Edimburgo,[1] da William Gordon, XVIII conte di Sutherland e da sua moglie Mary (c.1740–1766), figlia ed erede di William Maxwell. I suoi genitori morirono di "febbre putrida" a Bath nel 1766, un paio di settimane dopo il suo primo compleanno. In quanto più giovane ed unico figlio sopravvissuto succedette nei titoli e nelle proprietà di suo padre. Il suo titolo di contessa di Sutherland fu contestato da Sir Robert Gordon, un discendente del I conte di Gordon, ma fu confermato dalla camera dei lord nel 1771.
Infanzia e matrimonio
Elizabeth Sutherland trascorse gran parte della sua infanzia vivendo a Edimburgo e Londra, dove fu educata tra il 1779 ed il 1782. Il 4 settembre 1785, all'età di 20 anni, sposò George Granville Leveson-Gower, visconte Trentham, che fu note come conte Gower dal 1786 fino al 1803 quando successe al titolo di suo padre di marchese di Stafford. Nel 1832, appena sei mesi prima che egli morisse, fu creato duca di Sutherland ed Elizabeth diventò nota come duchessa-contessa di Sutherland.