Milledge efterträdde 1792 Anthony Wayne som kongressledamot. Han efterträddes följande år av Thomas P. Carnes. Milledge valdes igen till representanthuset i kongressvalet 1794 och han omvaldes två år senare. Efter ytterligare en paus på två år tillträdde Milledge en gång till sitt ämbete som kongressledamot i mars 1801. Han avgick följande år för att kandidera i guvernörsvalet i Georgia. Han vann valet och efterträdde Josiah Tattnall som guvernör. Han efterträddes 1806 av Jared Irwin.