La contea si trova nel sud dello Stato, al confine con Pennsylvania e New Jersey. A est il confine è segnato dal fiume Hudson. Il territorio è pianeggiante nel nord-est, dove si stende la valle dell'Hudson, e nell'area centro-settentrionale dove scorrono verso nord i fiumi Wallkill, Dwarr Kill e Shawanunk. Quest'ultimo segna il confine nord-occidentale. Nell'area centro-orientale e nel sud-est si elevano i rilievi montuosi delle Hudson Highlands che raggiungono la quota più alta nella Scunemunk Mountain. È questa un'area ricoperta da moltissimi laghi e parte di essa ricade nell'Harriman-Bear Mountain State Park. Nel sud-est al confine con il New Jersey si estende il lago di Greenwood. Ad ovest si elevano i rilievi montuosi delle Shawangunk Mountains. Nell'estremo sud-ovest la contea si affaccia sulla valle del Delaware che segna il tratto di confine con la Pennsylvania.
Esistono prove che i primi nativi vissero nella regione a partire da 12 000 anni fa.[senza fonte] Nativi di lingua algonchina vivevano nell'are nel XVII secolo.[2] Nel 1609, Henry Hudson risalì il fiume che da lui prese il nome e ancorò la sua nave, la Half Moon, nella baia di Cornwall, nel territorio dell'attuale contea.