Byen vart først nemnd i 1108, då som Aldenburg. Han vart viktig fordi han låg ved ein vadestad over elva Hunte. Oldenburg vart hovudstad i Grevskapet Oldenburg (seinare hertugdøme, storthertugdøme og republikk), ein liten stat i skuggen av den mykje meir mektige hansabyenBremen.
På 1600-talet var Oldenburg ein rik by i ei tid med krig og uro, og folketalt auka ein god del. I 1667 vart byen råka av ein katastrofal pest og kort tid etter øydela ein storbrann byen. Dei danske kongane, som vart hertugar av Oldenburg på denne tida, var ikkje særleg interessert i forholda i her og han vart mindre og mindre viktig. I 1773 enda det danske styret, og det var først då dei øydelagde bygningane vart bygd opp att i ein neoklassistisk stil.
I 1893 opna ein kanal mellom Hunte og elva Ems og hamna i Oldenburg vart forbunde til Nordsjøen, noko som kraftig betra dei økonomiske forholda i byen.
I 1945 etter den andre verdskrigen voks Oldenburg til meir enn 100 000 innbyggjarar då flytningar emigrerte til byen, som berre svakt råka av dei allierte sine bombetokt. I 1946 vart Oldenburg ein del av den nye tyske delstaten Niedersachsen.
