Учился в 1842—1844 годах в Брауновский университет. В 1845 году переехал в Нью-Йорк для изучения искусства. Здесь он изучал под руководством британского акварелиста и учителя рисования Джона Смита — рисование, перспективу и анатомию. Также изучал здесь человеческое тело в анатомических классах Медицинского колледжа и рисование в Национальной академии дизайна.
В 1847 году Гиффорд был достаточно опытен в живописи и выставлял свои первые пейзажные работы в Национальной академии, куда был избран адъюнктом в 1851 году и академиком — в 1854 году. После этого Гиффорд целиком посвятил себя пейзажной живописи, став одним из лучших художников школы реки Гудзон.
Как и большинство художников Гудзоновской школы, Гиффорд, много путешествовал, побывав в Новой Англии в штатах Нью-Йорк и Нью-Джерси. Затем он посетил Европу, где с 1855 по 1857 годы изучал европейское искусство и делал эскизы для своих будущих картин. Во время этой поездки он встретился и много путешествовал с Альбертом Бирштадтом и Ворсингтоном Вайтриджем. После возвращения в США Гиффорд посетил Вермонт, где создал ряд картин.
Затем участвовал в Гражданской войне — служил в Армии союза капралом 7-го полка полиции в Нью-Йорке.
Летом 1867 года Гиффорд провел большую часть своего времени работая над картинами в Нью-Джерси, в частности, на Санди-Хук и в Лонг-Бранч.
Затем, вернувшись в США, в 1870 году он посетил Скалистые горы в компании с Ворсингтоном Вайтриджем и Джоном Кенсеттом. Вернувшись в свою студию, Гиффорд создал ряд новых произведений, созданных по эскизам этого путешествия.
В память о художнике Метрополитен-музей провел в Нью-Йорке мемориальную выставку 160 картин художника. Каталог работ Гиффорда был опубликован вскоре после его смерти и включил свыше 700 картин.
