Nach dem Tod des Vaters im Januar 1140 belehnteKonrad III. den erst zwölfjährigen Sohn bereits auf dem im Februar 1140 stattfindenden Reichstag in Worms mit der Landgrafschaft Thüringen. Gleichzeitig wurde Ludwig II. von Konrad III. mit Jutta, der Tochter seines Bruders Friedrichs II. und der Agnes von Saarbrücken verlobt. Die Ehe wurde 1150 geschlossen und ist als politisches Bündnis zwischen den Staufern und den Ludowingern zu verstehen. Wahrscheinlich hatte noch LudwigI. mit KonradIII. die Verlobung ausgehandelt. Zwischen den Staufern und den Ludowingern bestanden seitdem gute Beziehungen, die mit der Unterstützung Konrads III. zuerst durch Udo I., Ludwigs II. Oheim, begann. Ludwig I. ist zuerst im Juni 1138 in Quedlinburg in der Umgebung Konrads III. nachgewiesen.
Der junge Landgraf war bis zum Tod Konrads III. oft am Königshof aufzufinden und leistete Königsdienst. Er erhielt wohl zunächst auch Erziehung durch den Erzbischof von Mainz und den Bischof von Merseburg.
1150 bittet er seinen Schwager Friedrich I. darum, die Wahl seines Großcousins Gebhard von Henneberg zum Bischof von Würzburg zu unterstützen, was dieser dann auch wurde. Mit Friedrich I., der 1152 König und 1155 Kaiser wurde, war Ludwig II. zeit seines Lebens verbündet. Gemeinsam kämpften sie gegen Heinrich den Löwen und die Erzbischöfe von Mainz.
Ludwig II. hat den Bau des Palas der Wartburg beauftragt, der ab 1156 begonnen wurde und etwa 1168 zumindest bis zum 2. Obergeschoss abgeschlossen war. Er gründete ab 1168 die Runneburg in Weißensee und ab 1170 die Creuzburg. Wahrscheinlich noch unter Ludwig II. wurde die Münzstätte Gotha als weitere Münze der Landgrafen errichtet.
1170 nahm Ludwig mit dem Kaiser an einen Feldzug gegen Polen teil. Nach seiner Rückkehr erkrankte er und starb am 14. Oktober 1172. Er wurde – wie fast alle Thüringer Landgrafen – im Kloster Reinhardsbrunn beigesetzt. Sein Epitaph befindet sich in der Georgenkirche in Eisenach.
Sage vom Schmied von Ruhla
Während Ludwigs II. Herrschaft wurde die Bevölkerung Thüringens vom Adel häufig tyrannisiert und drangsaliert. Eines Abends fand nun der Landgraf Ludwig unerkannt in einer Schmiede in Ruhla ein Nachtlager. Der Schmied fluchte heftig auf seinen Landesherrn und auf die Zustände im Land und rief schließlich „Landgraf, werde hart!“ Daraufhin begann der Landgraf hart gegen diese Zustände durchzugreifen und gegen das Raubrittertum einzuschreiten. Er spannte die Missetäter vor einen Pflug und ließ sie einen Acker umgraben. Um diese Taten Ludwigs rankt sich die Sage, die 1421 von Johannes Rothe aufgezeichnet wurde und Ludwig den Beinamen "der Eiserne" einbrachte.
Heinrich Wolfgang Behrisch: Leben Conrads des Großen, Markgrafens zu Meißen und Ludwigs des Eisernen, Landgrafens in Thüringen. Hilscher, Dresden 1776 (Digitalisat)
Helga Wäß: Grabplatte für Landgraf Ludwig II., den Eisernen. in: Form und Wahrnehmung mitteldeutscher Gedächtnisskulptur im 14. Jahrhundert. Ein Beitrag zu mittelalterlichen Grabmonumenten, Epitaphen und Kuriosa in Sachsen, Sachsen-Anhalt, Thüringen, Nord-Hessen, Ost-Westfalen und Südniedersachsen (in zwei Bänden), Band 2: Katalog ausgewählter Objekte vom Hohen Mittelalter bis zum Anfang des 15. Jahrhunderts, Berlin (Tenea Verlag) 2006, Bd. 2, Kat. Nr. 795 mit Abb./ alle Grabplatten des Landgrafenhauses Thüringen beschrieben und abgebildet, S. 531–542, ISBN 3-86504-159-0.