Milton gifte sig 1830 med Susan Cobb. Paret fick fyra barn. Hustrun Susan avled 1842 och Milton gifte om sig två år senare med Caroline Howze. Paret fick tio barn.
Milton flyttade 1846 till Florida och inledde sin politiska karriär. Han var elektor för Lewis Cass i presidentvalet i USA 1848. Han var 1850 ledamot av Florida House of Representatives, underhuset i delstatens lagstiftande församling.
Milton vann guvernörsvalet i Florida 1860 som demokraternas kandidat. Han efterträdde följande år Madison S. Perry som guvernör. Amerikanska inbördeskriget hade brutit ut redan innan Milton tillträdde guvernörsämbetet. Milton stödde starkt den konfedererade saken. I hans sista budskap till Floridas lagstiftande församling ingick orden "Death would be preferable to reunion", att döden skulle vara att föredra framom återföreningen med nordstaterna. Guvernör Milton begick självmord genom att skjuta sig i huvudet.
Miltons grav finns på St. Luke's Episcopal Cemetery i Marianna.
Externa länkar
Biografi på National Governors Associations hemsidor