Melodien vart komponert av Joseph Haydn i 1797; han vart først brukt som ei hyllest til Franz II, den siste keisaren av det tysk-romerske riket, «Gott erhalte Franz den Kaiser» ('Gud velsigne keisar Franz').
Haydn brukte seinare hymnet som grunnlag for den andre satsen (Poco adagio cantabile) til sin strykekvartett nr. 62 i C-dur, som ofte vett kalla Keisarkvartetten.
I 1921 skreiv Albert Matthai eit tillegsvers som vart brukt i enkelte kretsar fram til 1930-åra. Dette har vorte omtalt som «det fjerde verset», men var aldri ein del av den offisielle nasjonalsongen.