Điểm tập trung của quảng trường là Công viên Quảng trường Madison, một công viên rộng 6,2 mẫu Anh (2,5 hécta)[2], giới hạn phía đông là Đường Madison (đường này khởi đầu tại góc đông nam của công viên tại Phố số 23); giới hạn phía nam là Phố số 23; giới hạn phía bắc là Phố số 26; và giới hạn phía tây là Đường số 5 và Đường Broadway khi chúng giao cắt nhau.
Công viên và quảng trường nằm tại phần cuối phía bắc của khu cư dân Flatiron thuộc quận Manhattan. Việc sử dụng tên "Quảng trường Madison" để làm tên cho khu dân cư đã rơi vào quên lãng, và hiếm khi được nghe đến. Khu dân cư nằm về phía bắc và phía tây của công viên là NoMad; và khu dân cư nằm về phía bắc và phía đông của công viên là Rose Hill.