А. С. Яковлев е роден на 19 март (1 април) 1906 г. в гр. Москва, в семейството на чиновник. Баща му — Сергей Василиевич завършва Александровското търговско училище. След края на образованието си служи в транспортния отдел на нефтената фирма „Товарищество братьев Нобель“ („Сдружение на братя Нобел“).
Майка му — Нина Владимировна — е домакиня.
Родът на Яковлев произлиза от крепостни селяни на граф Дмитриев-Мамонов.
Дядо му — Василий Афанасиевич държи лавка за свещи на Илинските врати в Москва и има договор за поддръжката на полилеите на Болшой театър.
През 1924 г. А. С. Яковлев построява първия си летателен апарат — планера АВФ-10, който е награден като един от най-добрите съветски планери на всесъюзните съревнования.
Първият полет на АВФ-10 е на 15 септември 1924 г., днес тази дата се отбелязва като рожден ден на ОКБ Яковлев.
От 1924 до 1927 г. Яковлев работи отначало като работник, по-късно и като моторист в летателния отряд на Военновъздушната академия «Н.Е. Жуковски».
През 1927 г. Яковлев построява лекият самолет АИР-1 и през същата година е приет в академията, която завършва през 1931 г. През същата тази 1931 г. постъпва на работа като инженер в авиозавод № 39 (Завод „Менжински“), където през август 1932 г. организира група за лека авиация.
На 15 януари 1934 г. Яковлев става началник на производствено-конструкторското бюро на Спецавиатрест Авиопром, а от 1935 до 1956 г. е главен конструктор.
От 11 януари 1940 до 1946 г. той едновременно с това е и заместник на наркома на авиационната промишленост по новата техника. От 1956 г. до 1984 г. е Генерален конструктор на ОКБ Яковлев.
Общо конструкторското бюро, носещо неговото име и чийто Генерален конструктор е той, създава над 200 типа и модификации на летателни апарати, в това число и над 100 серийно произвеждани:
- Леки самолети с различно предназначение — спортни, многоцелеви, включително и реактивни.
- Изтребители през Великата Отечествена война
- Първите съветски реактивни изтребители и изтребители-прехващачи
- Десантни планери и вертолети, в това число най-големият в света през 1950-те г. въртолет Як-24.
- Семейство свръхзвукови самолети, включващо първите съветски свръхзвукови бомбардировачи, разузнавателни самолети и изтребители-прехващачи.
- Първите в Съветския съюз самолети със скъсено и вертикално излитане и кацане, включително и свръхзвуков Як-141, нямащ аналог и досега)
- Реактивни пътнически самолети
- Безпилотни летателни апарати
От 1934 г. самолетите на ОКБ Яковлев са в крупносерийно производство и експлоатация. Общо са построени над 70 000 самолета „Як“, в това число над 40 000 самолета през Втората световна война.
През войната две трети от съветските изтребители всъщност са конструкция на Яковлев.
Самолетите на ОКБ Яковлев са награждавани с Ленинска и осем Държавни награди на СССР и са използвани както в СССР (Русия), така и в други държави.
На самолетите, конструкция на ОКБ Яковлев, са установени 74 световни рекорда.
Яковлев умира на 22 август 1989 г. в Москва и е погребан в Новодевичото гробище в същия град.