Né à Portland, dans le Maine, Colman est venu vivre avec sa famille à New York où son père a ouvert une librairie, attirant une clientèle cultivée, ce qui peut avoir influencé le goût de Colman pour l'art. On suppose qu'il a brièvement étudié auprès du peintre de l'Hudson River SchoolAsher Durand. Il a exposé pour la première fois ses travaux à l'Académie américaine de design en 1850. En 1854, il ouvre son propre atelier à New York et, l'année suivante, est élu membre associé de l'Académie nationale, dont il fut membre de droit en 1862.
