Zijn vader, die eveneens Jimmy heette, was een pianist die onder meer bij Hot Lips Page speelde, een oom was arrangeur bij allerlei bigbands. Jimmy Woode studeerde piano en bas aan verschillende conservatoria, waaronder Boston University en had les bij Paul Gregory. In de eerste helft van de jaren vijftig woonde en werkte hij in Boston, waar hij in de clubs Storyville en Hi Hat vele grote jazznamen begeleidde, zoals Charlie Parker, Miles Davis en Billie Holiday. In 1955 verving hij in Storyville de bassist van Duke Ellington en werd daarna de vaste bassist in diens orkest. Bij Ellington was hij van 1955 tot 1959 actief. Hij speelde met de band mee op veel platen, zoals Such Sweet Thunder en een album met Ella Fitzgerald. Ook was hij bassist tijdens het beroemde optreden van Ellington op het Newport Jazz Festival van 1956, waar hij met drummer Sam Woodyard het vuurtje flink opstookte voor de legendarische saxofoonsolo van Paul Gonsalves.
In de jaren negentig vormde hij een trio met Dirk Raufeisen en Charly Antolini en toerde hij met Lionel Hampton's Golden Men of Jazz. In 2003 vormde hij een trio met drummer Pete York en Helge Schneider, waarmee hij in Duitsland jazzstandards speelde. Ook acteerde hij in een film van Schneider, "Jazzclub-Der frühe Vogel fängt den Wurm" (2004).
