O'Sullivan nació en Nueva York, y de adolescente trabajó para Mathew Brady. Al comienzo de la guerra civil, a principios de 1861, fue comisionado como teniente primero en el Ejército de la Unión, y en los años siguientes peleó en las batallas de Beaufort, Port Royal, Fort Walker y Fort Pulaski.
Luego de su baja con honores se reincorporó al equipo de Brady. En julio de 1862 acompañó al general John Pope
en la campaña del Norte de Virginia. Asociándose con el estudio fotográfico de Alexander Gardner obtuvo la publicación de 44 fotografías de su colección de la guerra civil.[1] En julio de 1863 tomó su fotografía más famosa «The Harvest of Death» (La cosecha de la muerte) mostrando soldados muertos luego de la batalla de Gettysburgen lo que se considera la única evidencia fotográfica de la misma. En 1864 acompañó al general Ulysses S. Grant y registró el asedio de Petersburg antes de viajar brevemente a Carolina del Norte para documentar la segunda batalla de Fort Fisher. También estuvo en Appomattox Court House, donde tuvo lugar la rendición de Robert E. Lee en abril de 1865.
De 1867 a 1869 fue oficial fotógrafo en la exploración geológica del paralelo 40° dirigida por Clarence King. La expedición comenzó en Virginia City (Nevada), donde fotografió las minas, y continuó hacia el oeste. Su trabajo consistía en fotografiar los nuevos territorios para atraer colonos. Sus fotografías estuvieron entre las primeras en registrar las ruinas prehistóricas de los indios Navajo y las aldeas de los Pueblo en el sudeste.
En contraste con los paisajes asiáticos y orientales, el sujeto fotográfico que eligió constituyó un nuevo concepto. Tomó fotografías de lugares no industrializados, no civilizados sin utilitario las convenciones paisajísticas de una pintura. O'Sullivan combinó ciencia y arte, logrando registros exactos de extraordinaria belleza.
En 1870 se unió a una expedición a Panamá para buscar el sitio para un canal que atravesara el istmo. Entre 1871 y 1874 retornó al sudoeste acompañando la expedición de George M. Wheeler al meridiano 100°. Pocos de los 300 negativos que tomó se han conservado. Pasó los últimos años de su corta vida en Washington D. C., como fotógrafo oficial del Servicio Geológico de los Estados Unidos y del Departamento del Tesoro.