Историческое название — Горохово поле (в XVIII веке), затем Горо́ховая (Горо́ховская) у́лица — по имени государева Горохового двора. В 1939 году улица получила современное название в честь Матвея Фёдоровича Казакова — русского архитектора в связи с 200-летием со дня рождения[1].
№ 3 — жилой многоквартирный дом, в котором в ночь с 21 на 22 января 2018 года произошло убийство Татьяны Страховой.
№ 15 — Московский институт землеустройства (1930—1934, архитектор И. А. Фомин)[2], ныне — Государственный университет по землеустройству (ГУЗ). На территории установлен мемориал «Воинам-студентам, преподавателям и служащим Института инженеров землеустройства» (1982, архитекторы А. Е. Ефремов, И. Г. Марин)[3].
№ 23 — Городская усадьба Деминых, (кон. XIX — нач. XX вв., архитекторы В. И. Веригин, Н. Д. Струков, Е. И. Опуховский), объект культурного наследия регионального значения[4], хорошо сохранившийся ансамбль в стиле классицизирующей эклектики. В комплекс входят особняк с сохранившимися интерьерами (1885 год, арх. В. И. Веригин; 1894 год, арх. Н. Д. Струков; 1909 год, арх. Е. И. Опуховский); флигель (1893—1894 годы, арх. Н. Д. Струков); ограда и ворота[5].
№ 29 — Доходный дом (1910, архитектор Н. П. Евланов).
№ 16 — НИИ Радио (в 1993—2005 гг. в нём арендовали помещения несколько московских радиостанций).
№ 18-20 — Городская усадьба Разумовского, конец XVIII-начало XIX века, арх. А. А. Менелас, перестроена после пожара 1812 года арх. А. Г. Григорьевым. Ранее существовала версия об авторстве М. Ф. Казакова (отчасти поэтому Сытин считал, что Гороховскую назвали по фамилии архитектора), однако современные краеведы и историки эту версию оспаривают. Иногда к кругу авторов причисляют Чарльза Камерона, автора дворца Разумовского в Батурине, иногда — Н. А. Львова. После более чем десяти лет «реставрации» дворец был сильно повреждён пожаром 9 июля1999, причём погибла как раз та часть дворца, что устояла в пожар 1812 года. Ремонт продолжается по сей день. В рамках гражданской инициативы «Последний адрес» на доме № 18 установлен мемориальный знак с именем спортсмена и педагога Владимира Александровича Иванова[6], расстрелянного органами НКВД 14 июня 1938 года[7].
18, стр. 1 — Главный дом (архит. А. А. Менелас, 1799—1802 гг.) городской усадьбы графа А. К. Разумовского и флигели (1840-е годы, архитектор А. Г. Григорьев).
18 стр. 2 — Жилой флигель (богадельня), здание 1841 года постройки, архитектор А. Г. Григорьев, перестроено в 1871 году.
18 стр. 3 — Гостевой и служебный флигели (1840-е годы, архитектор А. Г. Григорьев).
18 стр. 4, 7 — Караульни усадьбы А. К. Разумовского (1840-е годы, архитектор А. Г. Григорьев).
18 стр. 10 — Дворовый корпус служб усадьбы А. К. Разумовского (одноэтажное кирпичное здание XIX века).
↑Гейдор Т., Казусь И. Стили московской архитектуры. — М.: Искусство—XXI век, 2014. — С. 330. — 616 с. — ISBN 978-5-98051-113-5.
↑Вострышев М. И., Шокарев С. Ю. Москва. Все культурные и исторические памятники. — М.: Алгоритм, Эксмо, 2009. — С. 75. — 512 с. — (Московские энциклопедии). — ISBN 978-5-699-31434-8.
↑Новые памятники города // Московское наследие : журнал. — М.: Департамент культурного наследия города Москвы, 2012. — № 19. — С. 11. Архивировано 30 августа 2017 года.