Diest heiratete am 3. März 1859 in Frankfurt (Oder) Anna von Thile (* 20. August 1830 in Berlin; † 5. Oktober 1908 in Merseburg). Seine Frau war die Tochter des Adolf von Thile (1784–1861), preußischer General der Infanterie, und der Auguste von Schöning (1788–1859). Seine Tochter Elisabeth (1862–1946) heiratete nacheinander die Brüder Siegfried und Wilhelm von Quast.
Von 1867 bis 1869 war er Regierungspräsident in Wiesbaden und dort sogar Mitglied des Kunstgewerbevereins.[2] Bereits 1869 wurde er nach Danzig versetzt, da er als Konservativer heftige Auseinandersetzungen mit dem Liberalen Karl Braun hatte. Bismarck wollte sich Braun, der einer der Führer der nationalliberalen Reichstagsfraktion war, gewogen halten und betrieb deshalb Diests Versetzung. 1869 bis 1876 wirkte er als Regierungspräsident im Regierungsbezirk Danzig und 1876 bis 1894 im Regierungsbezirk Merseburg.
Thomas Klein: Leitende Beamte der allgemeinen Verwaltung in der preußischen Provinz Hessen-Nassau und in Waldeck 1867 bis 1945 (= Quellen und Forschungen zur hessischen Geschichte. Bd. 70), Hessische Historische Kommission Darmstadt, Historische Kommission für Hessen, Darmstadt/Marburg 1988, S. 111–112. ISBN 3884431595.
Horst Romeyk: Die leitenden staatlichen und kommunalen Verwaltungsbeamten der Rheinprovinz 1816–1945 (= Publikationen der Gesellschaft für Rheinische Geschichtskunde. Band69). Droste, Düsseldorf 1994, ISBN 3-7700-7585-4, S.413–414.
↑Isabell Schmock-Wieczorek: Die Stadt als künstlerischer Lebens- und Schaffensraum. Bildende Künstler als Akteure im halleschen Kunstsystem in der Zeit der Klassischen Moderne, Auflage: Online-Ressource, Vandenhoeck & Ruprecht, Göttingen 2022, S. 197. ISBN 978-3-647-36766-8. Digitalisat