Phillips aloitti kontrabasson soittamisen nuorena ja vietti jakson San Franciscon sinfoniaorkesterin avustavan pääkontrabasisti S. Charles Sianin yksityisoppilaana. Hän muutti vuonna 1960 New Yorkiin ja teki ensimmäiset levytyksensä vuonna 1965 Archie Sheppin sekä Bob Jamesin kanssa. Vuonna 1967 Phillips matkusti Lontooseen, jossa perusti trion saksofonisti John Surmanin ja rumpali Stu Martinin kanssa. Samoihin aikoihin hän aloitti yhteistyön Columbianelektroakustisella studiolla Lontoossa työskentelyn aloittaneen säveltäjä Max Schubelin kanssa. Yhteistyön pohjalta syntyi soolobassoalbumi Journal Violone (1968), jota laajalti pidetään yhtenä varhaisimmista merkittävistä improvisoidusta musiikista koostuvista soolobassoalbumeista. Arvostusta saavutti myös Dave Hollandin kanssa tehty levytys Music from Two Basses (1971).[2]