Jean-Paul Elkann est le fils de l'industriel Armand Elkann (1882-1962) de Montbéliard et de son épouse Berthe Bloch.
Jean-Paul Elkann est élève au lycée Janson-de-Sailly à Paris. Il est reçu à Polytechnique en , mais quitte la France pour les États-Unis, pour continuer ses études à l'Université de Columbia de New-York.
Il se marie à New York avec Carla Ovazza[2] (1922-2000), héritière d'une famille juive de banquiers de Turin et nièce d'Ettore Ovazza[3], qu'il rencontre à l'université Columbia. Ils ont un fils, Alain Elkann, père de John Elkann, Lapo Elkann, et Ginevra Elkann, né à New York en 1950. Après leur divorce, il se remarie, le , avec Françoise Schuhl, avec qui il a une fille Brigitte Elkann épouse de Jean-Louis Loeb-Picard, à Paris en 1976, mère de Pauline Loeb-Picard, Edouard Loeb-Picard, et Pierre Loeb-Picard[Quoi ?].
Son père Armand Elkann et lui entrent dans l'industrie métallurgique. Il est le propriétaire et président de la compagnie Vanadium Steel Italiana (à partir de 1948) et de Vanadium Alloys Steel Canada (à partir de 1950) et vice-président de Vanadium Alloys Steel (États-Unis) (à partir de 1953).