Джон Карлсон родился в деревне Колсебро в Швеции. Семья Карлсонов иммигрировала в Соединенные Штаты в 1884 году, обосновавшись в Буффало. Карлсон посещал вечерние занятия по рисованию в студенческой художественной лиге Буффало. Там Джон получил наставления от Люциуса Уолкотта Хичкока (1868—1942), бывшего ученика парижской Академии Коларосси и Лиги студентов-художников Нью-Йорка.
Джон Карлсон выиграл стипендию в 1903 или 1904 году, чтобы учиться у Бирджа Харрисона в колонии Бэрдклифф в Вудстоке. Карлсон начал выставлять свои работы на таких национальных выставках, как ежегодная выставка в Чикагском институте искусств в 1905 году. Начиная с этого периода, он поддерживал активный график выставок и представлял работы в различных средствах массовой информации, с особым успехом работая акварелью и маслом. В 1906 году летняя школа Лиги студентов-художников присудила Джону его третью стипендию для изучения пейзажной живописи. Карлсон стал специалистом по зимним сценам и получил назначение на должность помощника директора Вудстока в 1908 году.[1]
В 1911 году Джон Карлсон получил свою первую важную награду на шведско-американской выставке в Чикаго и был избран ассоциированным членом Национальной академии дизайна. Вскоре после этого он был назначен Лиги студентов-художников на должность директора школы пейзажной живописи Вудстока. В 1912 году Salmagundi Club вручил ему Везинскую премию за акварель, а также первую премию Исидора. В следующем году Карлсон получил серебряную медаль от Вашингтонского общества художников.[2]
Карлсон завоевал серебряную медаль на Панамо-Тихоокеанской международной выставке 1915 года. В 1918 году Национальная академия дизайна вручила ему премию Карнеги и Первую премию Альтмана, а в следующем году Джон ушёл с поста директора Вудстокской школы пейзажной живописи. В 1920 году Карлсон начал преподавать в летние месяцы в Бродмурской художественной академии в Колорадо-Спрингс. Джон Карлсон основал школу пейзажной живописи Джона Ф. Карлсона в Вудстоке в 1922 году. Через три года художник был избран действительным членом Национальной академии дизайна.[3]
В 1928 году Карлсон опубликовал учебное пособие Elementary Principles of Landscape Paintings (Элементарные принципы пейзажной живописи). Книга была переиздана в 1953, 1958, 1970 и 1973 годах. Более поздние издания были озаглавлены как Carlson's Guide to Landscape Painting (Руководство Карлсона по пейзажной живописи).[4]