Карл Деккер начинал свою карьеру в небольших клубах «Оттакринг», «Шварц-Вайс» и «Вайсе Эльф». Осенью 1937 года он перешёл в венский клуб «Фёрст», за который дебютировал в возрасте 16 лет. Деккер успешно выступал за «Фёрст» вплоть до 1952 года. Он стал трёхкратным чемпионом Австрии, а 31 октября 1943 года забил один из голов в финале Кубка Германии против немецкого «Гамбурга», что помогло команде одержать победу со счётом 3:2. Всего за «Фёрст» Деккер провёл 609 матчей (включая товарищеские игры), в которых забил 605 голов. В сезоне 1943/44 он стал лучшим бомбардиром чемпионата. После завершения карьеры в «Фёрсте» нападающий отыграл два сезона в клубе «Штурм» из Граца, а затем отправился в качестве легионера во французский «Сошо» и швейцарский «Гренхен».
Ещё в 1951 году Деккер начал тренерскую карьеру, возглавив «Фёрст» в качестве играющего тренера. В сезоне 1957/58, возглавляя «Гренхен», он сыграл свой последний матч как футболист, выйдя однажды на поле в связи с экстренной необходимостью. С сентября по декабрь 1968 года Деккер временно тренировал венский «Рапид» по причине болезни тогдашнего главного тренера «зелёно-белых» Рудольфа Вытлачила. В этот короткий период Деккеру удалось добиться одного из самых известных успехов «Рапида» в Кубке европейских чемпионов, пройдя на стадии 1/8 финалаиспанский клуб «Реал Мадрид».
С 1969 года Карл Деккер занимал пост президента Австрийской федерации футбольных преподавателей.
Скончался 27 сентября 2000 года в возрасте 84 лет, похоронен на Центральном кладбище Вены. В 2011 году в честь Карла Деккера была названа одна из улиц в венском районе Дёблинг.
Карьера в сборных
Деккер сыграл 8 матчей за сборную Германии, забив 7 голов. С 1945 по 1952 годы он выступал за сборную Австрии, забив 19 мячей в 25 матчах.
С 1958 по 1964 годы Деккер возглавлял сборную Австрии в качестве главного тренера. Ему удалось создать одну из лучших команд в истории сборной, в состав которой входили такие игроки как Штоц, Коллер, Ханаппи, Хоф, Сенекович, Немец, Буцек и др. С мая 1960 по октябрь 1961 года сборная Австрии сыграла 10 матчей, проиграв лишь однажды и нанеся поражения сборным Шотландии, СССР, Испании, Италии, Англии, Венгрии. Однако из-за недостатка денежных средств АФС принял решение не выставлять сборную на чемпионат мира 1962 года, после чего её результаты начали ухудшаться. В 1963 году сборная провела 7 матчей, добившись лишь одной победы и потерпев 5 поражений. В феврале 1964 года Деккер подал в отставку. Под его руководством сборная Австрии сыграла в общей сложности 36 матчей, одержав 16 побед и потерпев 17 поражений. Только Хуго Майсль, Херберт Прохазка, Леопольд Штястный и Вальтер Науш провели больше матчей на посту главного тренера сборной, чем Деккер.