Som 16-åring startet han sitt første band, The Moonshiners, men bare få uker etterpå, i oktober 1962 sluttet han skolen og ble med i bandet The Javelins.[trenger referanse] I årene som fulgte jobbet han hardt som musiker i band som Wainwrights Gentlemen og Episode Six, hvor han møtte bassisten Roger Glover første gang. I 1969 fikk Ritchie Blackmore høre om Gillan og headhuntet ham til Deep Purple, som var på utkikk etter en ny vokalist. Roger Glover ble ny bassist i Deep Purple. De debuterte på singelen «Hallelujah (I am the Preacher)» i 1969.
I 1973 forlot Gillan Deep Purple, mye på grunn av gnisninger mellom ham og gitarist Blackmore,[trenger referanse] og tok en kort pause fra profesjonell musikk før han dannet Ian Gillan Band i 1975. Den tidlige band-sounden hadde et klart islett av jazzrock som viste seg å være mindre populært, og den ble erstattet i 1977 med en mer kraftfylt hardrock-sound da Gillan skiftet ut flere medlemmer i bandet og forkortet gruppens navn til simpelthen Gillan.[trenger referanse]
I 1982 ble bandet oppløst da Gillan måtte hvile etter skader på stemmebåndene. I 1983 ble han ny vokalist i Black Sabbath for albumet Born Again og en påfølgende turné, før han ble med i et gjenforent Deep Purple i 1984.
Etter to studioalbum og ett livealbum fikk Gillan sparken fra Deep Purple i 1989, hvorpå tidligere Rainbow-vokalist Joe Lynn Turner overtok jobben. Gillan ga ut to soloalbum før resten av Deep Purple overtalte Ritchie Blackmore til å ta Gillan inn i varmen igjen.[trenger referanse]
I 2006 kom Gillan ut med et prosjekt som dokumenterer hans 40-årige karriere, kalt Gillan's Inn. Både Tony Iommi, flere medlemmer av Deep Purple og mange andre er en del av dette DVD-prosjektet.
På 1970-tallet hadde Gillan en vokalmessig spennvidde på fem oktaver.[trenger referanse]
