Babcock stammte aus einer Familie von Tüftlern und Mechanikern. Er besuchte 1860 die Abendkurse des Cooper Institute in Brooklyn. Während des Bürgerkrieges baute er bei den Mystic Iron Works Schiffe für die Unionsregierung. Dann wurde er Chefkonstrukteur der Hope Iron Works in Providence, R.I., wo er auf Stephen Wilcox traf und mit ihm zusammen den Wasserrohrkessel entwickelte.