A családban többen játszottak valamilyen hangszeren, vagy valamely kórusban énekeltek. Négyéves volt, amikor a szülei elváltak. Édesapja meghalt egy üzemi balesetben. Ikertestvére: Addison Farmer nagybőgőzött, míg ő trombitált.
Középiskolás korában kezdett hivatásosan muzsikálni. 1952-ben kiadta a „Farmer's Market” című felvételét. Ezt követően Los AngelesbőlNew Yorkba költözött, ahol olyan zenészekkel fellépett fel, mint például Horace Silver, Sonny Rollins, Gigi Gryce.
Elsősorban bebop stílusban zenélt. Fellépett hazánkban is.