Az együttes elődjének az ismeretlen "Rick Martin and the Showmen" zenekar számít.[1] Mark Stein és Tim Bogert ebben az együttesben játszottak, majd a "The Rascals" zenekar hatására határozták el, hogy megalapítják saját zenekarukat,[1] 1965-ben.
Eredetileg "The Electric Pigeons" volt a nevük,[2] ezt nem sokkal később egyszerűen csak "The Pigeons"re változtatták.[2] 1967-ben leszerződtek az Atlantic Records kiadóhoz. A kiadó elnöke nem szeretett volna "The Pigeons" nevű együttest leszerződtetni, így Vanilla Fudge-ra változtatták nevüket. Carmine Appice önéletrajzában szerepel a név magyarázata: a zenekar egy bárban találkozott egy Dee Dee nevű nővel, aki elmesélte a tagoknak, hogy a nagymamája őt "Vanilla Fudge"nak szólította, és felvetette a zenekarnak a név ötletét.
Az önéletrajzból az is kiderült, hogy maga az együttes sem szerette a "The Pigeons" nevet. 1967-ben indult el igazából a Vanilla Fudge karrierje. A zenekar eredeti felállása a következő volt: Mark Stein – ének, Tim Bogert – ének, basszusgitár, Vince Martell – ének, gitár, Carmine Appice – ének, dob. Ez a felállás öt albumot rögzített 1970-es feloszlásuk előtt.[3] Az évek alatt többször is feloszlottak, 1999 óta azonban újból aktív a zenekar.