Он жил недалеко от расположения клуба «Нью-Джерси Рокетс», за который и начал играть с 2005 года в Атлантической юниорской хоккейной лиге на протяжении двух сезонов. Джон учился три года в высшей школе Сент-Джозеф в Нью-Джерси, а затем в Кафедральной высшей школе в Индианаполисе.
Карлсон был выбран «Вашингтон Кэпиталз» на драфте НХЛ 2008 года в первом раунде под общим 27-м номером. Дебют Джона в Американской хоккейной лиге (АХЛ) в составе фарм-клуба — «Херши Беарс» — состоялся 2 мая 2009 года в матче плей-офф Кубка Колдера против «Уилкс-Барре», а в следующей игре серии он забил первый в своей профессиональной карьере гол. В этом сезоне в составе «Херши» стал обладателем Кубка Колдера.
Дебют в НХЛ в составе «Вашингтона» состоялся 21 ноября 2009 года в матче против «Торонто», а 21 января 2010 года Карлсон забил первую шайбу за «Кэпиталз» в ворота Кэма Уорда из «Каролины». Свой первый гол в серии плей-офф НХЛ Карлсон забил в ворота «Монреаля». Позже в том же сезоне забил победный гол в матче плей-офф АХЛ, играя за «Херши Беарс» против «Техас Старз». В составе «Херши» второй раз подряд выиграл Кубок Колдера.
В сезоне 2009/10 Джон сыграл только 22 матча, поэтому имел статус новичка в следующем сезоне 2010/11, в котором он сыграл все 82 игры и набрал 37 (7+30) очков при показателе полезности «+21». По итогам сезона Карлсон вошёл в символическую сборную новичков регулярного чемпионата.
В сентябре 2012 года Джон Карлсон продлил контракт с клубом на 6 лет. Общая сумма соглашения составила $ 23,8 млн.
За регулярный сезон 2014/15 защитник набрал 55 очков в 82 (12+43) играх. Этот сезон стал лучшим для американца за его шестилетнюю карьеру в НХЛ. Он установил собственный рекорд по числу заброшенных шайб, результативных передач и набранных очков, а также занял третье место в лиге по числу блокированных бросков (200). Занятия с ассистентом Барри Троца, Тоддом Реирденом, принесли свои плоды — Карлсон стал лучше работать и двигаться с шайбой, найдя баланс в своей игре.
В ноябре 2015 года Карлсон набрал 200-е очко в НХЛ в матче против «Бостон Брюинз». Джон стал девятым защитником в истории клуба, перешагнувшим эту отметку.
В августе 2016 года игрок вошёл в топ-20 лучших защитников НХЛ по версии экспертов NHL Network.
В сезоне 2017/18, последнем по контракту, защитник обновил личные рекорды результативности, набрав 68 очков (15+53). Также Карлсон стал самым результативным защитником НХЛ, но не попал в тройку финалистов в голосовании на «Норрис Трофи». В плей-офф стал лидером команды по игровому времени (25:38) и самым результативным защитником — 20 очков (5+15). В решающей серии против «Вегас Голден Найтс» набирал очки в четырёх матчах из пяти. В 5-м матче отдал результативную передачу и стал обладателем Кубка Стэнли.
24 июня 2018 года Джон Карлсон подписал с «Вашингтоном» новый восьмилетний контракт на общую сумму $64 млн[2].
Международная карьера
Карлсон в составе сборной США принимал участие на чемпионате мира по хоккею среди молодёжных команд 2010. На турнире он был ассистентом капитана сборной, провёл 7 матчей и отметился 4 результативными передачами и 3 забитыми шайбами. В финале Джон забил в овертайме победный гол в ворота Канады (6:5ОТ) и завоевал со сборной золотые медали первенства. Вошёл в символическую сборную чемпионата и был признан самым «забивным» защитником турнира.
За основную сборную США дебютировал на Олимпиаде-2014 в Сочи и 13 февраля 2014 года забил первый гол сборной США на турнире в матче открытия против команды Словакии.
Выступал за сборную США на Кубок мира 2016, сыграв в 2 встречах.