Era figlio del conte d'origine tedesca Andrej Ivanovič Osterman (o von Ostermann); dopo la caduta del padre in disgrazia presso la corte zarista, il giovane conte si arruolò come ufficiale del Reggimento Imperiale della Guardia.
Uscì da questo nel 1752 con il grado di colonnello, entrò a far parte del corpo politico russo, divenendo presto confidente e amico degli Orlov. Nel 1757 Osterman fu mandato a Stoccolma come ambasciatore, esercitando una grande influenza sul giovane re Gustavo III di Svezia.
Osterman fece parte del gruppo illuminista di Aleksandr Matveevič Dmitriev-Mamonov, composto da aristocratici riformisti scontenti dello zar Paolo I; nel 1796 il conte fu cancelliere dell'impero russo; successivamente perse il favore dello zar e si ritirò nel suo palazzo moscovita.
