Rosenberg var søn af generalmajor Johann von Rosenberg. Han gik på Friedrich-Wilhelms-Gymnasium i Berlin, Stadtschule i Wismar, Großherzogliche Gymnasium i Neustrelitz og Wilhelms-Gymnasium i Königsberg. Efter gymnasiet (abitur) studerede han i Bonn, Genève og ved Humboldt-universitetet i Berlin. I Bonn blev han medlem af studentforeningen Corps Borussia Bonn. Senere var han diplomat i Antwerpen og Berlin. Han var fra 1918 til 1919 leder af den politiske afdeling af Weimarrepublikkens udenrigsministerium og fra 1920 til 1921 var han tysk gesendt i Wien og fra 1921 til 1922 gesandt i København.
Han blev den 22. november 1922 udnævnt som udenrigsminister i regeringen Cuno. Regeringen gik af i august 1923 og von Rosenberg blev i 1924 gesandt i Stockholm. Han var fra 1933 til 1935 ambassadør i Ankara.
[1]
.svg){kind=small}
