Німеччина вперше взяла участь в Олімпійських іграх 1896 року в Афінах. На Ігри в Антверпені 1920 року та на Ігри в Парижі 1924 року Німеччина не була допущена через організацію Першої світової війни. Після Другої світової війни Німеччина була розділена на три окремі держави. 1947 року були зроблені спроби відправити на Олімпіаду в Лондоні єдину команду, але цьому противилися союзники. У підсумку жодна з німецьких команд не брала участь в Іграх 1948 року. 1949 року в західній Німеччині був створений Національний олімпійський комітет, який покривав дві німецькі держави: Саар і ФРН. Протекторат Саар проіснував до 1956 року, після чого возз'єднався з ФРН. Влада східної Німеччини сформувала свій Національний олімпійський комітет 1951 року, однак він був прийнятий МОК тільки 1965 року. На Іграх у Мельбурні, в Римі та в Токіо Німеччину представляла Об'єднана німецька команда. Починаючи з 1968 року, НДР стала посилати на Олімпіади самостійну команду. 1989 року після падіння берлінської стіни та об'єднання Німеччини в єдину державу, на Олімпійських іграх знову стала виступати єдина команда.
Двічі Німеччина сама була господарем Олімпійських ігор. 1936 року Ігри пройшли в Берліні, а 1972 — в Мюнхені.
За час виступу на Олімпійських іграх німецькі спортсмени завоювали 1260 олімпійських медалей на літніх Олімпійських іграх та 328 медалей на зимових. Найбільше медалей німецькі спортсмени завоювали у змаганнях з легкої атлетики та плавання.