Die Straße besteht aus zwei Teilen mit unterschiedlicher Geschichte. Der Ostteil vom Bahnhofsplatz zum Platz Egertorg lag innerhalb der Stadtmauern des DänenkönigsChristian IV. und wurde zunächst nicht als zusammenhängende Straße angesehen. Teile hießen Østre Gade, Kirkebakken und Kirkestredet, ab etwa 1840 hieß der ganze Straßenzug Østre Gade. Der Westteil war eine im Zusammenhang mit dem Schloss von dessen Architekten H.D. Linstow als Sichtachse und Paradestraße geplante Avenue. Sie wurde in den 1830er-Jahren errichtet und erhielt 1840 den Namen Slotsvej (dt.: „Schlossweg“). 1852, nach Karl Johans Tod, wurde sie nach dem verstorbenen Monarchen benannt. Damals stand schon das monumentale Universitätsgebäude. In der Folge entwickelte sich der westliche Teil der „Karl Johan“ ähnlich vielen Avenuen und Ringstraßen des 19. Jahrhunderts als urbanistisches Schaustück staatlicher und bürgerlicher Prachtentfaltung. Die Grundeigentümer der Nordseite der neuen Avenue kauften unter anderem die Grundstücke an der Südseite auf und schenkten sie der Stadt, mit der Auflage, dort den heutigen „Studentenpark“ zu gestalten, in dem allerdings später das Nationaltheater errichtet wurde.[1] Während des Baus des Parlaments in den 1860er-Jahren wurde die Verbindung zum östlichen Teil am höchsten Punkt, dem Egertorg, geschlossen; der unterschiedliche Charakter der beiden Straßenabschnitte blieb erhalten. Der zur Fußgängerzone adaptierte Teil hat vorwiegend kommerziellen Charakter. Im Hinblick auf das Hundertjahrjubiläum der Auflösung der Union mit Schweden im Jahr 2005 kam es auch zu bedeutenden Umgestaltungen der „Karl Johan“. Die Straßenmöblierung (Lichtmasten) wurden an jene der 1920er-Jahre angeglichen. Schon in den 1980er-Jahren verschwand die Straßenbahn Oslos aus der Karl Johans gate, die dort fast 100 Jahre zunächst als Pferdebahn verkehrt hatte.
