Играл на позиции полузащитника. Начал карьеру в 1927 году в будапештском «Вашаше». Впоследствии играл за «Немзети» и «Аттилу»[2].
В середине 1930-х выступал за французские клубы «Сен-Мало» и «Олимпик Алес». За рубежом Карой Шош успел поиграть и в Швейцарии, где защищал цвета «Берна»[3].
Вернулся на родину в сезоне 1937/38, продолжив карьеру в клубе «Гамма», где и завершил карьеру в 1944 году[2].
Тренерская карьера
Тренерская карьера Кароя Шоша стартовала в 1938 году, когда он являлся играющим тренером клуба «Уйбуда». В дальнейшем находился у руля таких команд как «Гамма», «Шальготарьян», «Халадаш», «Уйпешт», «Дороги» и «Ференцварош»[4]. С клубом «Дороги» доходил до финала Кубка Венгрии 1952 года[5].
Имел предложение возглавил югославскую «Воеводину», но в итоге в 1957 году принял предложение тренировать сборную Венгрии[6]. Под его руководством команда провела 4 игры (3 победы и 1 поражение)[7]. Впоследствии он стал ассистентом Лайоша Бароти в венгерской сборной[4].
С 1961 по 1967 год тренировал сборную ГДР. Венгерский специалист не сумел пройти квалификацию на чемпионаты мира 1962 и 1966, а также чемпионаты Европы 1964 и 1968. Тем не менее на Олимпийских играх 1964 года в Токио вывел восточных немцев в полуфинал, где они уступили Чехословакии (1:2). В матче за третье место команда Шоша сумела взять бронзовые награды, обыграв Объединённую арабскую республику со счётом 3:1. Последней отборочной кампанией Шоша во главе ГДР стала квалификация на Олимпиаду 1968 года, которая завершилась неудачей. В качестве тренера ГДР он провёл 43 матча (19 побед, 10 ничей и 14 поражений)[7]. Кроме того в 1962 году руководил сборной Западного Берлина в товарищеском матче против Москвы (1:2)[8].
Во время квалификации на чемпионат мира 1970 года главным соперником венгров была Чехословакия с которой Венгрия набрала равное количество очков к концу турнира. Для определения путёвку на мундиаль был проведён специальный матч между двумя сборными, где сильнейшими оказались чехословаки (4:1). После этого Шош завершил карьеру тренера[7]. Работал в Венгерской футбольной федерации[9].