Landgren studerte klassisk trombone ved musikkskolen i Karlstad og ved universitetet i Arvika mellom 1972 og 1978. Etter å ha møtt folkejazzpionéren Bengt-Arne Wallin og trombonisten Eje Thelin ble Landgren overbevist om å begynne med improvisasjon og utvikling av sin egen stil.
Etter skolegangen flyttet Nils til Stockholm for å jobbe som en profesjonell trombonist. Han dro snart på turné med den svenske popstjernen Björn Skifs. Thad Jones inviterte Landgren i 1981 til å bli med som førstetrombonist i hans nye storbandprosjekt, «Ball of Fire». Siden den gang har Nils Landgren vært like innom de fleste musikkstiler; jazz, rock, soul, hiphop og storband-sesjoner. Han har spilt med ABBA, The Crusaders, Eddie Harris, Bernard Purdie, Wyclef Jean og Herbie Hancock.
I 1983 ble debutalbumet Planet Rock utgitt, etterfulgt av Streetfighter i 1984, You are my nr 1 i 1985, Miles from Duke med Bengt-Arne Wallin i 1987, Chapter Two 1 i 1987, Chapter two 2 og Follow your heart i 1989. Mellom 1985 og 1987 var Landgren med som skuespiller, sanger, trombonist og danser i over 360 forestillinger av det svenske stykket SKÅL samt at han var med i flere TV-filmer som skuespiller.
I 1992 ble de første framføringene og opptakene av Nils Landgren sin «Unit» gjennomført. Hans gjennombrudd utenfor Skandinavia skjedde i 1994 på Jazz Baltica-festivalen i Salzau, Tyskland. Det var her «Unit» ble omdøpt til «Funk Unit». Albumet Live in Stockholm ble gitt ut dette året og var grunnlaget for samarbeidet med Siegfried Loch og hans label ACT.
