В 1897 году был назначен статс-секретарем почт, заменив на этом посту Генриха фон Стефана, и сложил с себя депутатские полномочия. В качестве министра почт он провёл некоторые внешние реформы второстепенного значения в организации почты, но возбудил ненависть служащих надзором за их политическим образом мыслей, преследованием за чтение газет оппозиционного направления и т. п.[1]
В 1901 году получил портфель земледелия в прусском кабинете; проявил себя крайним аграрием[1].
В память о Викторе фон Подбельском названы улица и станция метро в Берлине (Подбельскиаллее). Интересно, что в честь советского деятеля В. Н. Подбельского, ещё одного выходца из рода Подбельских, который тоже возглавлял в своей стране почтовое ведомство, ранее также назывались улица и станция метро, но в Москве (см. Улица Подбельского).
Foelsch T. Adel, Schlösser und Herrenhäuser in der Prignitz. Beiträge zur Kultur- und Kunstgeschichte einer kurmärkischen Landschaft. — Perleberg, 1997. (нем.)
Genealogisches Handbuch des Adels[нем.], Adelige Häuser / B. — Limburg (Lahn): C. A. Starke Verlag, 1980. — Bd. XIII (Bd. 73 der Gesamtreihe). — S. 476. — ISSN 0435-2408. (нем.)
Gothaisches Genealogisches Taschenbuch der Adeligen Häuser, Alter Adel und Briefadel 1928. — Gotha: Verlag Justus Perthes, 1928. — S. 452. (нем.)
Zilch R. Podbielski, Viktor von // Neue Deutsche Biographie (NDB). — Berlin: Duncker & Humblot, 2001, — Bd. 20. — 555 S. (нем.)