Народився в родині службовця. У 1916 році вступив до приватної чоловічої гімназії Страхова. У 1919—1922 роках працював кур'єром, продовжуючи навчатися в середній школі Москви. З 1922 року будував літаючі авіамоделі в шкільному гуртку. У 1920-і роки став одним із зачинателів радянського авіамоделізма, планеризм та спортивної авіації.
У 1924—1927 роках працював спочатку робітником, потім мотористом льотного загону Військово-повітряної інженерної академії імені Жуковського. Незважаючи на численні прохання і звернення, в академію його не брали, зважаючи на «не пролетарське походження». У 1927 році Яковлєв побудував легкий літак АІР АІР-1. Лише в 1927 році був зарахований до Академії імені Жуковського, яку закінчив у 1931 році.
З 1931 року працював інженером на авіаційному заводі № 39 імені Менжинського, де в серпні 1932 року організував групу легкої авіації.
15 січня 1934 року призначений начальником виробничо-конструкторського бюро Спецавіатресту Авіапрому, в 1935—1956 роках був головним конструктором. Член ВКП(б) з 1938 року.
З 11 січня 1940 по 1946 рік одночасно був заступником народного комісара авіаційної промисловості СРСР з нової техніки, з березня 1946 року — заступником міністра авіаційної промисловості СРСР (по загальних питаннях). У липні 1946 року залишив посаду заступника міністра за власним бажанням.
З 1956 по 1984 рік — генеральний конструктор ОКБ імені Яковлєва. Генерал-полковник авіації (з 1984; з 1946 по 1951 — генерал-полковник інженерно-технічної служби, з 1951 по 1984 — генерал-полковник інженерно-авіаційної служби). АкадемікАН СРСР (1976; член-кореспондент з 1943).
Помер 22 серпня1989 року. Похований у Москві на Новодівичому цвинтарі (дільниця № 11).
