År 1897 utsågs till allmän förvåning den i civila ämbetsmannavärv oprövade Podbielski till den berömde Heinrich von Stephans efterträdare som statssekreterare och chef för tyska rikspostverket; som sådan vann han emellertid livligt erkännande för administrativ skicklighet och genomförande av praktiska reformer (bland annat organisation av telegraf- och telefonväsendet samt sänkning av postpersonalens arbetstid). Podbielski, som 1895 fått generallöjtnants rang, var 1901-06 preussisk jordbruksminister och kom därvid genom sitt energiska hävdande av särskilt storgodsägarnas agrarintressen ofta i skarp konflikt med andra intressegrupper. Han gjorde sig efter sitt utträde ur det politiska livet bemärkt som den främste representanten för den moderna idrottsrörelsen i Tyskland.