Bereits im 10. Jahrhundert gab es einen Friedhof im westlichen Teil der späteren Straße, 1188 wurde dort erstmals die Nikolaikirche genannt. Um 1227 wurde an dieser ein Dominikanerkloster gegründet.
Von 1349 und 1353 sind die ersten Erwähnungen der Johannisgasse (platea sancti johannis) erhalten, benannt nach der St.-Johanniskapelle, die etwa in dieser Zeit entstanden war. Der Name bezog sich zunächst nur auf den östlichen Teil der Straße. Zu dieser Zeit gab es noch keine Stadtmauer, über das Johannistor ist die älteste Erwähnung erst von 1454 erhalten.
In der Johannisgasse lebten vor allem Handwerker und Arbeiter, in einigen wenigen Häusern Kaufleute und etwas vermögendere Bürger.
1945 wurde ein Teil der Gebäude zerstört. Die Straße ist jetzt teilweise bebaut.
Bauwerke
Es sind einige historische Gebäude erhalten (bzw. wieder aufgebaut?). Die Nikolaikirche blieb 1945 weitgehend unbeschädigt. Die Hausnummern sind seit etwa 1850 gleich geblieben.
Nr. 9
1920er Jahre Wohnung (und Werkstatt?) des Orgelbauers Joseph Goebel