Современная улица прошла по западному склону Березуйского оврага и включила в себя две прежние — Татаренскую (от улицы Кирова до Пятницкого кладбища) и Березуйскую (от Березуйского оврага до улицы Кирова)[1].
В своё время по правому берегу Березуйского оврага проходила оборонительная стена Калужской крепости[2].
Из примечательных строений в начале XX века на улице располагались торговые бани (у начала Березуйского оврага) и казармы музыкантской команды (у пересечения с Дворянской (ныне — Суворова) улицей)[3].
В конце октября 1984 года во дворе школы № 36 рабочими моторостроительного завода при участии ветеранов 324-й дивизии Бритвина А. И., Крутина А. И., Короткова И. А., Шпилько В. Ф., директора школы Родичева А. В. и помощи бывшего командира дивизии Кожедуба И. Н. был установлен самолёт МИГ-17[4].
Современное название улицы в память декабристаК. Ф. Рылеева (1795—1826), дано с установлением в городе советской власти, первоначало носила только часть улицы — прежняя Татаренская, Березуйская тогда получила наименование — Лаврова[5].
На улице сохранилась историческая одно-двух этажная деревянная застройка, когда-то бывшая основной в городе. Несколько исторических домов было отреставрировано силами волонтёрского движения[1]. В 2014 году свой дом (д. 73) музеефицировал потомок его прежних жителей — купцов Кувшинниковых — Юрий Смирнов[1][6]. Конец жизни в доме на улице провёл известный народник В. И. Ассонов.
Возможно в районе улицы будет воссоздана историческая часть Калуги[7].
