De formatie werd opgericht in 1964, toen Don Baskin en Bob Gonzalez, beiden oorspronkelijk van de formatie Lenny Lee & the Nightmen, zich verenigden met de plaatselijke band The Pharaohs. De daaruit voorvloeiende band The Syndicate of Sound, bestond met Baskin en Gonzalez, verder uit John Sharkey, Larry Ray en John Duckworth. In de beginfase van het bestaan van de band, werd de band beïnvloed door r&b-muziek, specifiek de vroege muzikale stijlen van The Rolling Stones en The Beatles. Nadat de band een Battle of the Bands had gewonnen tegen 100 andere deelnemende bands, verwierf The Syndicate of Sound een contract bij Del-Fi Records. De band publiceerde de single Prepare For Love, die plaatselijke speeltijd kreeg, maar uiteindelijk tekort schoot om van invloed te kunnen zijn. Ook al was de song niet succesvol, de sound van de band was gevestigd.
Baskin, Gonzalez en Sharkey gingen verder met het schrijven van nieuw materiaal en kwamen in januari 1966 met Little Girl / You voor Hush Records in San Francisco. Little Girl werd een landelijke hit. Het trok de aandacht van Bill Gavins en werd daarna uitgebracht door Bell Records in New York. Bell Records publiceerde de song landelijk en bood de band een contract aan voor een album. Door Larry Ray te vervangen door leadgitarist Jim Sawyers, werd de lp geschreven en opgenomen in amper drie weken. Daarna begonnen ze aan een landelijke tournee met andere acts, waaronder Paul Revere & the Raiders, The Young Rascals en The Yardbirds. Little Girl bereikte een 8e plaats in de Billboard Hot 100 in juli 1966 en een 5e plaats in Cashbox. Het daaropvolgende Rumors kwam in oktober 1966 ook in de Hot 100 op een 55e plaats.
In een poging hun succes te continueren, bracht de band de twee singles Keep it Up en Mary uit, maar geen van beide bereikte de hitlijst. Op dit moment werd John Duckworth opgeroepen voor de United States Army voor de Vietnamoorlog en werd vervangen door Carl Scott. John Sharkey had de band al verlaten nadat Mary was gepubliceerd. Een andere single Brown Paper Bag bereikte in april 1970 de 73e plaats in de Hot 100. Vervolgens deden Baskin en Gonzalez een mislukte poging om een ander album op te nemen voor Capitol Records in 1970. Kort daarna werd de band ontbonden.
In 1990 hervormden Baskin, Gonzalez en Duckworth de band met Jim Sawyers, die bij tijd en wijle speelde. Ze namen een niet-geplaatste single op in 1995, een cover van de Kinks-compositie Who Will be the Next in Line?. In 2005 maakte Larry Ray zijn comeback bij de band.
Little Girl werd later opgenomen door andere artiesten, waaronder Dwight Yoakam en de Britse pseudopunk-band The Banned, een afsplitsing van de progrock-band Gryphon, die in 1977 de Britse hitlijst bereikte. De Amerikaanse punkband The Dead Boys[6] voegde een liveversie toe aan hun debuutalbum Young, Loud and Snotty (1977). Hey Little Girl werd als Hey Little Boy door de Australische band Divinyls[7] in 1988 op hun album Temperamental gecoverd. R.E.M. speelde de song als deel van hun vroege liveoptredens. De San Francisco Bay Area band CHOC'D coverde de songs ook in hun liveoptredens, met Sexy Rexy als zanger.
