Voroixílov va néixer a Verkhneie, prop de Iekaterinoslav (ara Dniprò), Ucraïna, sota l'Imperi Rus. S'uní al Partit Bolxevic el 1903. Seguint la Revolució Russa, va ser membre del Govern Provisional d'Ucraïna i Comissari d'Afers Interns. Durant la defensa soviètica de Tsaritsin durant la Guerra Civil, es va fer molt amic de Stalin. Va ser molt conegut per ajudar Stalin al Consell Militar (dirigit per Lev Trotski). Va ser instrumental al Sud Front de la Guerra Civil Russa i a la Guerra Poloneso-Soviètica amb el 1r Exèrcit de Cavalleria.
Després de l'Operació Barbarroja al juny de 1941, Voroixílov va ser nomenat comandant dels exèrcits nord-oest. Si bé va arribar a mostrar una considerable valentia personal (en una ocasió va liderar un contraatac contra els tancs alemanys armat només amb una pistola), va fracassar al permetre als alemanys cercar Leningrad, per la qual cosa va ser reemplaçat per Gueorgui Júkov.
El 1943, durant la Conferència de Teheran, va ser protagonista d'un incident vergonyós quan, durant una cerimònia per rebre l'"Espasa de Stalingrad" de Winston Churchill, va agafar l'espasa de mans de Stalin, però a continuació li va caure de la vaina sobre els seus peus en presència dels tres líders.[1]
Després de la guerra va supervisar l'establiment del règim comunista a Hongria.
Després de la denúncia de Khrusxov contra Stalin el 1956, al XX Congrés del PCUS (conegut com el "discurs secret", Voroixílov s'uní temporalment a la facció conservadora amb Malenkov, Làzar Kaganòvitx i Viatxeslav Mólotov (l'anomenat "Grup antipartit"), en un intent de retirar a Khrusxov del poder al juny de 1957, però aviat canvià de bàndol i recolzà a Khrusxov.
El 7 de maig de 1960, el Soviet Suprem acceptà la "petició de retir" de Voroixílov, reemplaçant-lo per Leonid Bréjnev com a president del Soviet Suprem (o President de l'Estat). Alhora, el Comitè Central el rellevà dels seus càrrecs com a membre del Presidium el 16 de juliol de 1960. El 1961 la seva derrota política va ser absoluta quan va ser exclòs de l'elecció del Comitè Central (s'explica una curiosa història sobre els darrers dies de Voroixílov com a president: durant un dinar/trobada del Comitè Central, tots els presents el van ignorar, fent que s'adonés ell mateix de què tots els seus col·legues havien decidit acomiadar-lo, la qual cosa li permeté avançar-se "retirant-se").
Després de la caiguda de Khrusxov, Bréjnev rehabilità a Voroixílov i el tornà a la política, exercint càrrecs menors. Tornà a ser elegit com a membre del Comitè Central el 1966 i rebé per segona vegada la distinció d'Heroi de la Unió Soviètica el 1968. Va morir el 1969 a Moscou i està enterrat a la Muralla del Kremlin.
El tanc KV-1, fet servir durant la Segona Guerra Mundial va ser nomenat en honor seu. Dues ciutats també van variar el seu nom en honor seu: Voroixílovgrad a Ucraïna (ara torna a ser Luhansk) i Voroixílov a l'extrem orient soviètic (ara Ussuriysk), així com l'Acadèmia General d'Estat major de la Unió Soviètica a Moscou.