Походив з козацького роду кримськотатарського походження Кочубеїв, що заснований вихідцем з Кримського ханства Кучук-беєм.
Народився у маєтку батька Диканьці, у межах Першо-Диканської сотні Полтавського полку Гетьманщини.
У 1775 емігрував у Росію, жив у Санкт-Петербурзі, у дядька, навчався у приватному пансіонаті де Вільнева, одночасно в 1776 записаний на службу до лейб-гвардії Преображенського полку.
З жовтня 1798 — віце-канцлер, з грудня — керуючий Колегією закордонних справ; прибічник укріплення відносин із Османською імперією, укладення російсько-османського договору 1799.
Після смерті Безбородька стан Кочубея при дворі імператора Павла I став непевним, у вересні 1799 його відправили у відставку.
Навесні 1800 виїхав за кордон, але отримав повідомлення про смерть Павла I і повернувся до Санкт-Петербурга у квітні 1801.
З липня 1801 — сенатор, перебував при імператорі Олександрі I. У 1801—1802 керував Колегією закордонних справ; член Негласного комітету.
При обговоренні селянського питання Кочубей виступав проти звільнення селян без землі та практики переводу їх у дворові; ту ж позицію відстоював у Комітеті із забезпечення справ естляндських та ліфляндських селян, Головою якого Кочубей був з 1803.
У галузі політичних перетворень Кочубей виступав прибічником поділу влади при збереженні непорушності самодержавства. Один з ініціаторів створення міністерств (1802). Поділ влади трактував як точне визначення взаємодії між різними державними органами (у першу чергу між міністерствами та Сенатом), а також як розширення сфери компетенції міністрів і ліквідації колегіальності у виконавчих органах влади.
Єдиний із «молодих друзів» імператора Олександра I, що мав до 1801 значний досвід у державних справах і першим із них отримав міністерський пост (від вересня 1802 міністр внутрішніх справ).
З 1810 — член Державної Ради по Департаменту державної економії, на початку 1812 — голова Департаменту законів Державної Ради. Підтримував пропозицію Сперанського про реформу фінансів і Сенату.
Під час Французько-російської війни 1812 року був при імператорі Олександрі I, сприяв призначенню Михайла Кутузова головнокомандувачем. У 1813 — голова Центральної ради по керуванні німецькими землями.
У 1816—1819 — голова Департаменту громадських та духовних справ Державної ради. Вважав необхідним приступити до перетворення внутрішнього керування шляхом упорядкування фінансів і реорганізації органів виконавчої влади. Зокрема пропонував об'єднати Міністерство поліції з міністерством внутрішніх справ, а також створити Міністерство духовних справ народної просвіти.
У листопаді 1819 — червні 1823 керував Міністерством внутрішніх справ.
З 1823, у зв'язку з хворобою дочки, жив на Півдні Росії.
З 1826 — голова секретного «Комітету 6 грудня 1826», що підготував пропозиції з реоргацізації органів влади, селянського та станового питань, частково запроваджених у 1830—1840-х.