Baker speelde op rivierboten in het orkest van Fate Marable en in de bigbands van Erskine Tate, Don Redman (1936-1938), Teddy Wilson (1939-1940) en Andy Kirk (1940-1942). Hij was gedurende verschillende perioden lid van het orkest van Duke Ellington, de eerste keer in 1938. Zijn belangrijkste jaren bij Ellington waren de jaren 1943-1951 en 1957-1959. Begin jaren vijftig speelde hij bij Teddy Wilson, Ben Webster en in de groep van altsaxofonistJohnny Hodges, in de jaren zestig had hij een eigen groep.
Baker was kort getrouwd met pianisteMary Lou Williams. De twee gingen uit elkaar, maar zijn nooit officieel gescheiden.