Marin de profession, Lundkvist commence à jouer de l'accordéon et de la guitare au Trocadero, une boîte de nuit d'Amsterdam. Il se lance dans la musique au milieu des années 1950 et se fait remarquer avec son groupe au Nalen(sv), à Stockholm. Devenu « Little Gerhard », il décroche un contrat avec le label Karusell en 1957 et publie son premier maxi l'année suivante. La chanson What You've Done to Me devient son premier grand succès[1].
Le plus grand succès de Little Gerhard est sa reprise de Buona Sera de Louis Prima, sortie en 1958. Sa popularité dépasse les frontières de la Suède et s'étend notamment en Allemagne, où il a l'occasion d'enregistrer en allemand avec l'orchestre Die Hansen et de rencontrer Elvis Presley durant son service militaire[1].
En 1961, Little Gerhard commence à chanter en suédois et adopte un nouveau nom de scène, « Lille Gerhard ». Plusieurs de ses chansons en suédois rencontrent le succès, notamment Singeln Ma Marie, Petter och Frida et Den siste mohikanen.
Vers le milieu des années 1960, Lundkvist met un terme à sa carrière musicale pour devenir producteur chez la maison de disques Cupol. Il découvre la jeune chanteuse Agnetha Fältskog et produit ses trois premiers albums entre 1968 et 1970, avant qu'elle ne rejoigne le groupe ABBA[2].
Il participe au festival Melodifestivalen en 1982 avec Yvonne Olsson. Leur chanson, Hand i hand med dig, est éliminée au premier tour[3]. Elle atteint, le , la 8e place du hit-parade suédois(sv)[4].