Професионално је почео да игра тенис од 2000. године. До сада му је највећи успех освајање осам турнира у појединачној конкуренцији и два у конкуренцији парова. Од најбољих Гренд слем резултата издваја се четвртфинале Вимблдона2009.
Висок је 2,11 m, па је због тога највиши тенисер који је икада ушао у Топ 100. Управо због своје висине најјача страна су му сервиси. У 1. колу турнира у Вимблдону 2005. године, успео је одиграти 51 ас у мечу против Данијелеа Брачалија. На крају је ипак изгубио, али је достигао рекорд Томаса Јохансона по броју постигнутих асова у једном мечу.
На тениском турниру у Сан Хозеу, средином фебруара2007, по други пут у каријери, дошао је до финала, где је изгубио од ШкотаЕндија Марија иако је имао освојен први сет и брејк вишка у другом сету.
У марту 2011. током меча Дејвис купа између Хрватске и Немачке одсервирао је лоптицу брзином од 251 km/h и тиме поставио нови светски рекорд. Карловићев рекорд је оборио Самјуел Грот у мају 2012. на челенџеру у Бусану (сервис је ишао чак 263 km/h).[3]
У октобру 2015. постао је рекордер по броју одсервираних асова у каријери, престигавши сународника Горана Иванишевића.[4] У јулу 2022. Џон Изнер га је претекао на листи најбољих сервера,[5] тако да сада заузима друго место са 13.728 асова.[6]
Члан је тениске репрезентације Хрватске у Дејвис купу, као трећи играч. Због проблема око хонорара, тренутно не игра за репрезентацију.