Baumgarten was tussen 1969 en 1971 leerling van Joseph Beuys aan de Kunstacademie Düsseldorf. Tussen 1977 en 1986 bezocht Baumgarten Brazilië en Venezuela,[1] en deze bezoeken resulteerden in werken zoals Terra Incognita, een driedimensionaal diagram van de grens tussen twee landen.[2]
Hij vertegenwoordigde Duitsland voor de Biënnale van Venetië in 1984, waar zijn werk bestond uit de namen van Yanomami-mensen, die in de Amazone leven, gegraveerd in een marmeren vloer en gevuld met zuur.[2] Dit werk werd bekroond met de Gouden Leeuw van de Biënnale van Venetië.
In 1985 had hij een solotentoonstelling in het Stedelijk Museum. Een plafondstuk gemaakt voor het Carnegie Museum of Art in 1988 toont handgeschilderde letters van het Cherokee alfabet.[1] Voor zijn solo-expositie in 1993 in het Guggenheim Museum bracht hij de namen van Noord-Amerikaanse indianen aan op de binnenronding van de rotunda.
