Jugador muy precoz, siendo aún amateur ya en 1974 ganó su primer torneo profesional, el German National Open Championship. Convertido ya en profesional en 1976, lo volvió a ganar en 1977 y 1979, trece veces en total. Inició su andadura en el circuito europeo en 1976, venciendo por primera vez en una competición europea en 1980. Junto con Severiano Ballesteros ostenta el récord de haber logrado una victoria por lo menos durante 17 años consecutivos. El cenit de su carrera lo alcanzó al vencer dos veces en los Masters de 1985 y 1993.
También es famoso por su participación en la Ryder Cup con la selección europea. Pertenece a la generación dorada de Europa que consiguió la primera victoria en la Ryder Cup de 1985 junto con Severiano Ballesteros, Nick Faldo o Ian Woosnam. Es uno de los jugadores más prolíficos, pues ha participado en diez ediciones como jugador, anotando 24 puntos en 42 partidos, lo que lo ubica tercero en el historial europeo por detrás de Sergio García y Nick Faldo. Uno de los episodios más conocidos es su duelo en 1991 con Hale Irvin en Kiawah Island, donde falló un putt de 1,5 m para la victoria, con lo cual empató con este y cedió medio punto. Esto permitió a los EE. UU. recuperar la copa después de tres campañas infructuosas. En 2004 fue el capitán del equipo que ganó el Ryder Cup en los EE. UU. por 18,5 contra 9,5 puntos.
A lo largo de su carrera, Langer ha combatido los "yips", término usado para denominar reacciones nerviosas de las manos durante el golpe de putt. Cambió el grip de su putter en numerosas ocasiones para tratar de solucionar el problema; cuando estaba en el momento de mayor éxito de su carrera, fue cuando más acusó el problema.
Victorias en el Circuito Europeo (40)
1980 Dunlop Masters
1981 German Open, Bob Hope British Classic
1982 Lufthansa German Open
1983 Italian Open, Glasgow Golf Classic, St. Mellion Timeshare TPC
The Masters no contó como torneo del circuito europeo hasta el año 1997.
Victorias en el Champions Tour (46)
2007 Administaff Small Business Classic
2008 Toshiba Classic, Ginn Championship Hammock Beach Resort, Administaff Small Business Classic
2009 Mitsubishi Electric Championship at Hualalai, Liberty Mutual Legends of Golf, Triton Financial Classic, 3M Championship
2010 Allianz Championship, Outback Steakhouse Pro-Am, TheSenior Open Championship, US Senior Open Championship, Boeing Classic
2011 The ACE Group Classic
2012 3M Championship, SAS Championship
2013 ACE Group Classic, Greater Gwinnett Championship
2014 Mitsubishi Electric Championship at Hualalai, Insperity Invitational, ConstellationSenior Players Championship, TheSenior Open Championship, Dick's Sporting Goods Open
2015 Constellation Senior Players Championship, San Antonio Championship
2016 Chubb Classic, Regions Tradition, Constellation Senior Players Championship, Boeing Classic
2017 Mitsubishi Electric Championship at Hualalai, Regions Tradition, Senior PGA Championship, The Senior Open Championship, PURE Insurance Championship, Dominion Energy Charity Classic, PowerShares QQQ Championship
2018 Insperity Invitational, SAS Championship
2019 Oasis Championship, The Senior Open Championship presented by Rolex
2020-2021 Cologuard Classic, Dominion Energy Charity Classic
2022 Chubb Classic, TimberTech Championship
2023 Chubb Classic, U.S. Senior Open Championship
Otras victorias
1974 German National Open Championship (como amateur)
1975 German National Open Championship
1977 German National Open Championship
1979 German National Open Championship, Cacharel Under-25s Championship (by 17 strokes)
1980 Colombian Open
1983 Casio World Open (Japón), Johnnie Walker Tournament
1984 German National Open Championship
1985 Australian Masters, German National Open Championship
1986 German National Open Championship, Million Dollar Challenge (Sudáfrica)
1987 German National Open Championship
1988 German National Open Championship
1989 German National Open Championship
1990 German National Open Championship
1991 German National Open Championship, Hong Kong Open, Sun City Million Dollar Challenge (Sudáfrica)
DNP = No jugó
WD = Lesión
DQ = Descalificado
CUT = Falló el corte
"T" indica puesto compartido.
El fondo verde señala las victorias. El fondo amarillo indica los puestos en el top-10.