Відома з 1840-х років. Перша назва — Безіменний провулок. У своїй історії вулиця неодноразово змінювала назви: Гімназична вулиця (1898–1925), вулиця Вайсмана (1925–1941), знову - Гімназична (1941–1957), Інститутська вулиця (1957–1971), Іноземної колегії вулиця (1971–1995). У 1995 році повернуто первісну назву.
У 1898 році на розі з Ново-Рибною вулицею побудували триповерхову будівлю прогімназії (архітектор Микола Толвінський). У 1899 році навчальний заклад перетворили в 5-у гімназію. Тоді ж Безіменний провулок перейменували в Гімназичну вулицю.
На Гімназійну вулицю (тоді називалася Іноземної колегії) у фільмі «Приморський бульвар» вирушає Саша шукати Олену по виявленому їм адресою на газеті і там зустрічає Паніковського.
