Nach der Scheidung seiner Eltern und dem frühen Tod seines Vaters wuchs Rochow zunächst bis zu seinem 14. Lebensjahr (1806) bei seinen Großeltern mütterlicherseits, dem preußischen Rittmeister August von Briest und dessen Ehefrau Caroline Wilhelmine, geborene Zinnow, auf deren Gut Nennhausen bei Rathenow auf.
1823 trat Rochow in den preußischen Staatsdienst ein und wurde Mitglied der Hauptverwaltung der Staatsschulden, die die Regelung der durch die Befreiungskriege entstandenen Schulden zu organisieren hatte. Später war Rochow Vortragender Rat im Innenministerium und Protokollführer der „Königlichen Immediat-Untersuchungskommission zur Ermittlung hochverräterischer Verbindungen und staatsgefährlicher Umtriebe“. Im Jahr 1826 wurde er zum Geheimen Oberregierungsrat ernannt. Von 1831 bis 1834 war er schließlich Regierungspräsident in Merseburg.
Den Höhepunkt seiner beruflichen Karriere erlebte Rochow am 28. April 1834, als er durch gezielte Unterstützung von Fürst Wilhelm zu Sayn-Wittgenstein-Hohenstein (1770–1851) zum „Minister des Innern und der Polizei“ ernannt wurde. Am Tag zuvor hatte ihm Wittgenstein schon geschrieben: „Es ist nun alles in Ordnung: Das Schiff wird nun bald vom Stapel laufen. Richten (Sie) sich ..... so ein, dass Sie bald auslaufen können.“ (Lit.: Acta Borussica) Ursprünglich sollte Rochow eigentlich nur Polizeidirektor werden und den amtierenden Staatsminister Gustav von Brenn entlasten. Doch Rochow hielt Brenn als Polizeiminister für unfähig und weigerte sich schlicht, unter diesem zu dienen. Außerdem glaubte er von sich selbst, besser zum Minister als zum Abteilungsleiter geeignet zu sein. So wurde Brenn schließlich in das Amt des „Innenministers für Gewerbeangelegenheiten“ abgedrängt, das durch den Abschied Friedrich von Schuckmanns Anfang 1834 frei geworden war.
In seiner Position als Minister des Innern (Polizeiminister) wurde Rochow 1835 Mitglied der preußischen Staatsregierung. Am 1. Mai/13. Juni 1842 schied er aus gesundheitlichen Gründen aus dem Amt des Polizeiministers aus und zog sich auf das Familienschloss Reckahn zurück, doch behielt er den Rang eines Staatsminister bis zu seinem Tod. Von 1844 bis 1847 war er Präsident des Preußischen Staatsrats.
Der konservative Rochow begünstigte während seiner Amtszeit die Unterdrückung oppositioneller Bewegungen. So erregte er 1837/1838 mit seiner Äußerung vom „beschränkten Untertanenverstand“ besonders die liberalen Kreise in Deutschland (zur Freiheitsbewegung der 1830er Jahre siehe: Hambacher Fest): Nach der Entlassung der „Göttinger Sieben“ (sieben Professoren der Universität Göttingen, darunter die Gebrüder Grimm, die gegen den Verfassungsbruch des demokratie-feindlichen hannoverschen Königs Ernst August I. protestiert hatten) beschied Rochow in einem „amtlichen Verweis“ den Bürgern von Elbing, vertreten durch den Stadtverordneten-Vorsteher Jacob von Riesen,[2] die sich für ihren Landsmann, den StaatsrechtlerWilhelm Eduard Albrecht (1800–1876) eingesetzt hatten: „Es ziemt dem Untertanen, seinem Könige und Landesherrn schuldigen Gehorsam zu leisten und sich bei Befolgung der an ihn ergehenden Befehle mit der Verantwortlichkeit zu beruhigen, welche die von Gott eingesetzte Obrigkeit dafür übernimmt; aber es ziemt ihm nicht, an die Handlungen des Staatsoberhauptes den Maßstab seiner beschränkten Einsicht anzulegen und sich in dünkelhaftem Übermute ein öffentliches Urteil über die Rechtmäßigkeit derselben anzumaßen.“[3] Dieses Wort vom „beschränkten Untertanenverstand“ kursierte noch lange Zeit in der liberalen Presse und wurde in seiner Umkehrung („beschränkter Gustav“) auch gegen ihn selbst verwandt.
Vom Leben am preußischen Hofe. 1815–1852. Aufzeichnungen von Caroline v. Rochow geb. v. d. Marwitz und Marie de la Motto-Fouqué, bearbeitet von Luise v. d. Marwitz, E. S. Mittler & Sohn, Berlin 1908.
Acta Borussica., Die Protokolle des Preußischen Staatsministeriums. Band 2: 1817–1934/38. Hrsg. Berlin-Brandenburgische Akademie der Wissenschaften, Verlag Olms-Weidmann, Hildesheim, Zürich u. New York 2004.
↑Herbert Kater: Pfeifenkopf der Vandalia Göttingen 1811-1813. In: Einst und Jetzt. Jahrbuch des Vereins für corpsstudentische Geschichtsforschung 31. Band (1986), Selbstverlag, Emskirchen 1986, S. 210.
↑Franz Cramer: Despotismus und Volkskraft. Eine Goethe'sche Confession. Vortrag, gehalten zu Cöln, C. G. Lückeritz'sche Verlagsbuchhandlung (Carl Habel), Berlin 1874, S. 5. (Digitalisat)
↑Der vollständige Brief Rochows ist abgedruckt in Georg Büchmann: Geflügelte Worte. Der Citatenschatz des Deutschen Volks, 5. umgearb. und verm. Aufl., Berlin 1868, S. 228. (Digitalisat)