Kartner inicià la seva carrera musical als vuit anys guanyant un concurs de música de la seva ciutat natal. Va aprendre a tocar el piano, la guitarra i el baix. Més tard, juntament amb la banda Corry & de Rekels, va vendre un milió de discs a la dècada dels anys 60. Als Països Baixos, el seu país d'origen, eren una banda molt popular.
Durant la dècada dels setanta, Kartner creà un àlter ego: el Pare Abraham. Va escriure una cançó pels Carnestoltes. La peça es deia Father Abraham had seven sons (El pare Abraham té set fills). Al principi, Kartner es disfressava utilitzant una barba postissa, però amb el temps es deixà créixer la seva pròpia barba, la qual es va convertir, juntament amb el barret negre, en el tret més distintiu del personatge del Pare Abraham.
Amb la cantant neerlandesaWilma Landkroom, cantà a dúo la cançó 'Zou het erg zijn lieve opa', l'any 1971. Fou un gran èxit als Països Baixos en convertir-se en número u a les llistes d'èxits.[1] L'any 1973 va compondre i escriure la lletra de la cançó De oude muzikant. Aquesta peça representà els Països Baixos al Festival de l'Eurovisió d'aquell mateix any 1973. La cançó la van interpretar al Festival el cantant Ben Cramer. Va quedar en el lloc catorzè de disset candidates.[2]
Cap al 1975, tingué un altre gran èxit aquest cop d'abast internacional. La cançó es deia Het kleine café aan de haven. La peça ha tingut més de 250 versions, entre elles en francès per part de cantants com Mireille Mathieu, amb el títol Le café de la rue d'Amèrique i Joe Dassin, amb el títol Le café des trois colombes. El grup irlandésThe Fureys també en va fer una notabilísima versió retitulada The Red Rose Café.
Empremtes i firma de Pierre Kartner, àlies Pare Abraham, al Passeig de la Fama de Rotterdam
El maig de 1977 a Kartner li va ser proposat compondre i cantar la cançó d'una pel·lícula animada d'Els barrufets. Va acceptar i la companyia de música va fer només mil còpies pensant que la cançó no tendria més transcendència que ser un mer acompanyament a la pel·lícula.[3] Però les mil còpies es van esgotar en un dia. El film havia estat un èxit i tothom buscava tenir la simpàtica cançó que l'acompanyava. Una reimpressió del single d'unes 400.000 còpies es van esgotar en poc temps. Davant l'èxit, Kartner va crear un àlbum complet dedicat als barrufets. El disc pujà al més alt a les llistes d'èxits a l'época i vengué més de mig milió de còpies. L'èxit internacional l'acompanyà i el disc es publicà en diferents llengües: alemany, francès, castellà, suec i fins i tot japonés. El mateix Kartner cantava les cançons en aquestes llengües.[4] La idea era que els nens de cada país poguessin entendre i fer seves les cançons dels barrufets. Kartner feu gires durant els anys 70 i 80 en molts països europeus, apareixent en programes de televisió sempre acompanyat dels barrufets. Els seus treballs amb els petits éssers blaus, discs de cançons i singles, han venut més de 30 milions de discs arreu del món i es continuen venent arreu.
