Kjærholm syntyi Tanskan Østervråssa ja aloitti työuransa huonekalupuusepän apulaisena Gronbechissa 1948. Vuonna 1952 hän aloitti opinnot Kööpenhaminan muotoilukorkeakoulussaErik Herløwin ja Palle Suensonin johdolla ja pääsi käytännön työkokemuksensa ja henkilökohtaisten ominaisuuksiensa ansiosta pian myös opetustehtäviin.[1]
1950-luvun puolivälistä lähtien Kjærholm suunnitteli kalusteita ystävänsä Ejvind Kold Christiansenin yritykselle. Kjærholmin omintakeinen tyyli tulee esiin jo vuonna 1952 esitellyssä minimalistisessa PKO-vanerikalustesarjassa.
Vuonna 1958 Poul Kjærholm teki kansainvälisen läpimurron Pariisissa järjestetyssä Formes Scandinaves -näyttelyssä. Samana vuonna hän sai Lunning-palkinnon PK22-tuolistaan. Vuosina 1957 ja 1960 hän voitti Milanon triennaalin pääpalkinnon.
Poul Kjærholm käytti muiden sen ajan tanskalaismuotoilijoiden tavoin paljon puupintoja, mutta muita enemmän myös metallia kalustekonstruktioissaan. Kjærholmin useimpien kalustemallien alkuperäinen valmistaja oli E. Kold Christensen Hellerupissa. Vuodesta 1982 monia niistä on valmistanut uustuotantona tanskalainen Fritz Hansen -yhtiö. Vuonna 2004 Kjærholmin poika perusti Kjærholm Productions -yrityksen valmistamaan Fritz Hansenin mallistosta pois jätettyjä Poul Kjærholmin kalusteita.[1] Kjærholmin kalusteita on monien pohjoismaisten ja saksalaisten muotoilumuseoiden sekä muun muassa New Yorkin Modernin taiteen museon ja Lontoon Victoria and Albert Museumin kokoelmissa.