У дорослому футболі дебютував 1985 року виступами за команду «Віборг», в якій провів два сезони у команді другого дивізіону, після чого 1987 року грав у складі команди третього дивізіону «Гольстебро»[en], після чого повернувся у «Віборг», де провів ще три роки, останній з них у вищому дивізіоні.
Незважаючи на те, що за підсумками сезону «Віборг» посів останнє місце і вилетів з еліти, К'єльдб'єрга підписав вищолігвий «Сількеборг» завдяки хорошим виступам. У «Сількеборзі» він познайомився з тренером Вігго Єнсеном, який на той час очолював клуб, а також молодіжну збірну Данії, Якоб був призначений капітаном. У результаті під керівництвом Єнсена К'єльдб'єрг виріс із таланту в одного з найсильніших захисників у лізі та отримав виклик до національної збірної. Після видатного сезону 1992/93, у якому він забив сім голів у 31 грі чемпіонату і став одним із найбільш затребуваних гравців.
У серпні 1993 року К'єльдб'єрг перейшов до англійського «Челсі» за рекордну для клубу суму трансферу трохи менше 500 000 фунтів стерлінгів[1]. Він дебютував у Прем'єр-лізі 17 серпня 1993 року в матчі з «Вімблдоном» (1:1), ставши лише другим датським футболістом, який грав за «Челсі» через 80 років після того, як Нільс Міддельбе дебютував за клуб у 1913 році. 7 травня 1994 року в матчі проти «Шеффілд Юнайтед» (3:2) Якоб забив свій перший гол у Прем'єр-лізі. Він також був регулярним гравцем «синіх» та сформував сильний дует центрбеків із норвежцем Ерландом Йонсеном, зігравши в тому числі і у фіналі Кубка Англії 1994 року проти «Манчестер Юнайтед». Завдяки своєму фізичному стилю гри в поєднанні з безумовною відданістю він став улюбленцем публіки під час свого першого сезону і досі вважається одним із найкращих придбань тодішнього граючого тренера Гленна Годдла[2]. Наприкінці сезону 1994/95 він отримав серйозну травму коліна, яка змусила його достроково завершити кар'єру у віці 27 років після майже двох років одужання.
Протягом 1989—1992 років залучався до складу молодіжної збірної Данії, з якою був учасником [[Молодіжний чемпіонат Європи з футболу 1992
|молодіжного чемпіонату Європи 1992 року]] в Італії, на якому данці дійшли до півфіналу. Всього на молодіжному рівні зіграв у 17 офіційних матчах, забив 1 гол.
18 листопада 1992 року дебютував в офіційних матчах у складі національної збірної Данії у відбірковому матчі чемпіонату світу 1994 проти Північної Ірландії (1:0). У другому матчі 30 січня 1993 року в товариській грі проти збірної США (2:2) забив свій єдиний гол у національній збірній. Того ж року він зіграв у грі на Кубок Артеміо Франкі 1993 року проти Аргентини, де повністю вивів з гри Дієго Марадону, який тоді вважався найкращим гравцем світу, що викликало міжнародний резонанс. Втім данці програли матчі, поступившись у серії пенальті.[4]. Загалом протягом кар'єри в національній команді, яка тривала 3 роки, провів у її формі 14 матчів, забивши 1 гол.
