La contea si trova nel sud dello Stato, al confine con la Pennsylvania. Il confine con la Pennsylvania è formato dal fiume Delaware. Il territorio è collinare nel sud-ovest, per poi diventare montuoso nell'area settentrionale e sud-orientale. Raggiunge la massima elevazione di 950 metri nell'area nord-orientale che rientra nel parco dei monti Catskill. A nord scorre il fiume Callicoon diviso nei due rami che si congiungono poco prima della foce nel Delaware. A oriente scorre il fiume Basher ed il confine sud-orientale è segnato dal Shawangunk che scorre verso la valle dell'Hudson. I laghi, sia naturali che artificiali, sono molto numerosi.[2][3]
L'area dell'attuale contea ha fatto parte della contea di Ulster fin dal 1683 e ne è stata separata nel 1809. Il nome deriva da quello di John Sullivan, generale dell'esercito continentale che combatté nella guerra d'indipendenza.[2]
