Молодший син віце-канцлера графа Микити Петровича Паніна від шлюбу з Софією Володимирівною Орловою, дочкою графа Володимира Григоровича Орлова. Народився в Москві, де тимчасово проживав його батько, який перебував в опалі останнім часом царювання Павла I. Перші роки дитинства провів здебільшого в садибі Дугіна (у Смоленській губернії). Виховувався під безпосереднім наглядом своїх батьків і гувернера вчителя, німця Бютгера, під керівництвом якого був настільки добре підготовлений, що витримав іспит в Московському університеті в 1819 році. Витримав іспит в тому ж році він вступив на службу в колегію закордонних справ.
Згадується у Веліжській справі, зокрема і його стараннями, як адвоката, у 1831 році, перед Урядовим Сенатом були пізніше звільнені рішенням Державного Снату звинувачені у вчинені викрадення і ритуального вбивства трьохрічного Федора Ємельянова 23 квітня 1823 року.
Був активним супротивником скасування тілесних покарань і кріпацтва в Російській імперії.
