La municipalité s'étend sur 34,34 milles carrés (88,94 km2), dont 1,23 milles carrés (3,19 km2) d'étendues d'eau[1]. Elle inclut les census-designated places de Milton CDP (575 habitants) et Milton Mills (299 habitants)[1].
Milton était autrefois la paroisse nord de Rochester, appelée Three Ponds ou Milton Mills. La localité devient une municipalité en 1802. Son nom vient peut-être de William Fitzwilliam, vicomte de Milton, et proche de la famille Wentworth(en)[2].