Bandet ble etablert da vokalistIvar Grønsveen startet i bandet The Tainix. Ole Ødegård hadde begynt i bandet tidligere samme år, først som gitarist og nå som organist, og bandet bestemte seg for å endre navn til Ole Ivars etter fornavnene til de to nye framtredende medlemmer, på samme måte som svenske Sven-Ingvars.
Bandet fikk sitt gjennombrudd i 1968 med sangen «Regnets rytme». Sangen solgte etter hvert til gull, noe som på denne tida var meget uvanlig. Samme året fikk gruppa sølvplate for sin aller første LP.
Vokalist Ivar Grønsveen døde 17. oktober 1973, men bandet bestemte seg for å fortsette med Lasse Johansen som ny vokalist. Midt på 70-tallet ble bandet kjent for et nytt publikum da de ble med som fast husorkester i TV-serien 12 rette som gikk på NRK.
I løpet av 70-tallet hadde bandet en rekke utskiftinger av medlemmer og i 1978 forlot også Ødegård, som var det siste gjenværende medlemmet, bandet sammen med blant andre vokalist Johansen og saksofonist Tor Egil Simensen. Allerede året etter startet de tre et nytt band under navnet Ole Ivars Veteranene mens Ole Ivars fortsatte med nytt mannskap. I en periode eksisterte de to bandene parallelt og konsertarrangører hadde ikke alltid kontroll på hvilket av de to bandene de hadde booket til spillejobb. Saksofonist Arne Willy Foss var dessuten medlem av begge bandene i en periode. I perioden med to parallelle band, ga Ole Ivars Veteranene ut albumet Venner av oss mens Ole Ivars ga ut Ole Ivars og Kvelden venter på oss. I 1982 ga bandet som da var Ole Ivars seg, og Ole Ivars Veteranene kunne endre navn til Ole Ivars.
Ole Ivars har også gjort det bra på Norsktoppen. I perioden 1993–1994 lå sangen «Spellemannsblod» totalt 77 uker på listen, noe som lenge var rekord. Sangen gjorde det dessuten best på Norsktoppen begge disse årene, og kom på tredjeplass under kåringen av tidenes melodi på listen i 2003. De vant også i 1995 med «Fem gule enker», jubileumssangen til deres 30-årsjubileum. Dette hattricket på Norsktoppen har ingen andre artister klart. De vant tre år på rad med to sanger, «Spellemannsblod» og «Fem gule enker», skrevet av bassisten i bandet, William Kristoffersen. Under Spellemannprisen 1996 ble de de første til å vinne den nyopprettede kategorien danseband med albumet Dans på Skjermertopp. De har siden vært nominert totalt tolv ganger og mottatt syv spellemannpriser i samme klasse. I 1999 ga de ut en av sine mest kjente album; Ole Ivars i 2000, som inneholder bl.a. «Nei så tjukk du har blitt» og «Jag trodde änglarna fanns». Samme år fikk de også den høythengende prisen, Årets spellemann som første og hittil eneste danseband.
I forbindelse med 40-årsjubileet i 2004 ble bandet hedret med albumet En annen dans hvor tyve norske toppartister i alle sjangre fremførte sin versjon av en Ole Ivars-låt. Under jubileumsfeiringen i Vikingskipet på Hamar var også en rekke av disse artistene med å hylle dem. Samme år spilte Ole Ivars for første gang konserter i Oslo Konserthus og i Olavshallen i Trondheim, også her med fulle hus. I tillegg skapte de historie ved å fylle Råholt kirke tre ganger samme kveld til julekonsert dette året, noe som var gruppens aller første konsert i det kirkelige rom. I jubileumsåret mottok de også hele tre kulturpriser: Hedmarksprisen, Hedmark fylkeskommunes kulturpris og Gammleng-prisen, en riksdekkende pris gitt av Fond for utøvende kunstnere. De ble også samme år kåret til Tidenes Norske Danseband av NRK.
Ole Ivars har etter hvert også spilt en god del i utlandet. I de siste årene har de blant annet spilt med stor suksess i Sverige, på Færøyene og i Spania. I november 2007 fikk de for første gang gullplate i Sverige for 20 000 solgte eksemplarer av dobbeltalbumet Ole Ivars 40 Beste.
I 2008 deltok bandet i Melodi Grand Prix med sangen «Som i himmelen». Den 12. april 2008 spilte Ole Ivars på åpningen av Den Norske Opera & Ballett med operasjef Bjørn Simensen og operasanger Eli Kristin Hagen som gjesteartister. Begivenheten var så spesiell at det ble vist i nyhetssendingene på TV 2. Den 20. juni samme år deltok Ole Ivars på VG-lista Topp 20s show på Rådhusplassen i Oslo som eneste danseband. Konserten ble direktesendt på NRK og bandet framførte sangen «Nei så tjukk du har blitt» foran 50 000 mennesker. William Kristoffersen fikk for øvrig Kongens fortjenstmedalje i sølv i mai 2009, for nettopp ekstraordinær innsats, og mangfoldige bidrag til norsk underholdningsmusikk.
I anledning bandets 50-årsjubileum i 2014 har Ole Ivars utgitt dobbeltalbumet Ole Ivars 50 år i 2013. På denne utgivelsen har bandet fått med seg Lynn Anderson, som synger duett med vokalist Tore Halvorsen på «You are the light of my life», som er en engelskspråklig versjon av «Jag trodde änglarna fanns». CD 1 består av nye innspillinger, og CD 2 består av bandets 20 beste sanger utvalgt av Se og Hørs lesere. Ole Ivars feiret sitt 50-årsjubileum i Vikingskipet på Hamar den 4. oktober 2014. Konserten ble tatt opp av NRK og ble vist på NRK1 den 19. desember 2014.
I april 2014 satte Torshovteatret, som ligger under Nationaltheateret, forestillingen En får væra som en er – En Ole Ivars-musikal om Ole Ivars. Det er for det meste bygget over William Kristoffersens musikk og tekst, med få unntak. Denne forestillingen har høstet kun terningkast fem til seks i alle landets aviser. Kristoffersen har uttalt at dette var som å reise en statue av bandet i Oslo. Det blir kjørt 40 forestillinger og det har hele tiden gått for fulle hus, for folk fra alle samfunnslag.
Trommeslager Arild Engh døde 18. april 2017.[4] Han spilte sin siste konsert som Ole Ivars-medlem i desember 2014, og siden den gang har Morten Nyhus vikariert for Engh. Nyhus er nå fast medlem i Ole Ivars.
5. november 2018 kom nyheten om at Tore Halvorsen slutter som vokalist. Hans siste konsert som vokalist i Ole Ivars ble 10. desember 2018 i Råholt kirke i Akershus.[5] Ny vokalist fra 2019 ble Espen Hagen Olsen fra Moelv, som var frontfigur i dansebandet Sogns. Han var også vikar for Halvorsen da han ble hjerteoperert på våren 2017.
I et presseskriv kunngjorde bandet 28. juli 2022 at Ole Ivars legger opp etter avskjedsturneen som skal gå fra september 2022 til høsten 2023.[6] De bestemte seg senere for å fortsette et år til, og avsluttet deres karriere med en avskjedskonsert i Oslo Spektrum sammen med Kringkastingsorkestret 19. oktober 2024, 60 år etter bandet ble dannet.[7] De fikk tildelt hedersprisen under Spellemannprisen 2023.[3]
