Walter Booker zog mit seiner Familie in den mittleren 1940er Jahren nach Washington, D.C. Im College spielte er in einer Band Klarinette und Altsaxophon. Im Jahr 1959 begann er mit dem Bass, als er in der US Army war, wo er in derselben Einheit wie Elvis Presley diente. Nach seiner Entlassung aus der Armee spielte er während der frühen 1960er Jahre mit Andrew White in Washington und dem JFK Quintet.
Booker war mit der Pianistin Bertha Hope verheiratet und Mitglied ihres Trios, in dem auch Jimmy Cobb mitspielte. Zusätzlich zu seinem eigenen Quintett gründete er die Formation Elmollenium mit Bertha Hope, Charles Davis, Roni Ben-Hur, Leroy Williams und Amy London die der Pflege des Werks von Elmo Hope, Berthas früherem Ehemann gewidmet war.