Potrivit United States Census Bureau, borough-ul Madison are o suprafață totală de 4.218 mile pătrate (10.926 km2), din care 4.2057 mile pătrate (10.891 km2) de uscat și 0.013 mile pătrate (0.035 m2) de apă (0.32%). Madison este situat la aproximativ 25 de mile (40 km) vest de centrul Manhattan-ului și este un oraș suburban al metropolei New York.
Orașele învecinate din comitatul Morris sunt comunitățile Chatham Borough la est, Chatham Township la sud, Morris Township la vest și Florham Park spre nord.[9]
^Caldwell, Dave. "Living in Madison, N.J.; A Town Right Out of Central Casting", The New York Times, 15 iunie 2008. Accessed 12 august 2012. "Madison, named after President James Madison, was nicknamed the Rose City because of a 19th-century rose-growing industry started by wealthy residents drawn to Madison by its location on the Morris & Essex train line."