Hrad založil v roku 1067 durínsky gróf Ludwig der Springer. Do vymretia starých durínskych landgrófov z rodu Ludowigov grófom Heirichom Rapom (1247) bol hrad nedobytnou rezidenciou tejto dynastie a sídlom hradného grófa.
V čase, keď bol hradným grófom Hermann I. (1190 – 1216), bol Wartburg hlavným mestom nemeckého básnictva a dejiskom skvelých speváckych súbojov. Keď Durínsko pripadlo Meissenskému markgrófstvu, prijal Albrecht der Entartete, ktorý dostal od svojho otca Heinricha der Erlauchtena novo získanú krajinu, ako svoje sídlo opäť hrad Wartburg. Sídlili tu aj jeho nástupcovia až po Balthasara, posledného grófa, ktorý na Wartburgu sídlil a ktorý zomrel v roku 1406.
Balthasarov syn Friedrich der Einfältige navštevoval hrad svojho otca len zriedka a po jeho smrti Durínsko pripadlo späť miessenskej línii Wettinovcov (1440). Tým prestal Wartburg definitívne slúžiť ako grófska rezidencia.
Ešte raz v histórii získal hrad Wartburg na krátky čas význam pre nemeckú históriu. Bolo to v rokoch 1521 až 1522, kedy sa tu ako „mladý šľachtic Jörg“ ukrýval reformátor Martin Luther. Počas svojho pobytu na hrade preložil do nemčiny Nový zákon.
