Urodził się jako ósme i ostatnie dziecko Carrigana Philipa Johnsona sekretarza stanu Maine i Marii Kimball Chandler. Początkowo zajmował się litografią w Bostonie. Studiował dwa lata w Królewskiej Akademii w Düsseldorfie w Niemczech. Po krótkiej wizycie we Francji i Włoszech spędził trzy i pół roku w Hadze. Studiując dzieła holenderskich i flamandzkich mistrzów, osiągnął taką biegłość w ich naśladowaniu, że zyskał przydomek amerykańskiego Rembrandta[1]. W 1855, po dwumiesięcznym pobycie w Paryżu u Thomasa Couture, powrócił do Ameryki i ok. 1860 osiedlił się na stałe w Nowym Jorku. Był m.in. członkiem Union League Club of New York.
