Первоначально — Песочная улица (с 1830-х по 1849 год). Проходила от Шпалерной улицы до Дегтярного переулка, включая современную Лафонскую улицу. Название связано с песчаным характером местности.
С 14 июля1859 года — современное название. Названа по городу Ярославль в ряду улиц Рождественской части, наименованных по губернским городам Центральной России. Нумерация домов изменена в противоположном направлении.
Горбачевич К. С., Хабло Е. П. Почему так названы?: О происхождении названий улиц, площадей, островов, рек и мостов Санкт-Петербурга. — 4-е изд., перераб. — СПб.: Норинт, 1996. — С. 294. — 359 с. — ISBN 5-7711-0002-1.
Городские имена сегодня и вчера: Петербургская топонимика / сост. С. В. Алексеева, А. Г. Владимирович, А. Д. Ерофеев и др. — 2-е изд., перераб. и доп. — СПб.: Лик, 1997. — С. 139. — 288 с. — (Три века Северной Пальмиры). — ISBN 5-86038-023-2.
Топонимическая энциклопедия Санкт-Петербурга. — СПб.: Информационно-издательское агентство ЛИК, 2002. — 808 с. — ISBN 5-86038-094-1.