ג'ון פול ג'ונס נולד בלונדון, אנגליה. אביו היה פסנתרןג'אז ואימו זמרת ורקדנית, לכן משיכתו למוזיקה הייתה מוקדמת ביותר והחל ללמוד לנגן על אורגן בגיל צעיר. בגיל 14 הוא לקח לידיו גיטרת בס והחל ללמוד אותה לבדו, אף שאביו רצה שילמד לנגן סקסופון. הוא עזב את בית הספר בגיל 17, לטובת קריירה כנגן שכיר, וניגן תפקידים קטנים עם אומנים שונים.
בשנת 1966 ניגן לראשונה עם דונובן, בהקלטות התקליט "Sunshine Superman". ג'ונס היה אמור לשמש נגן בס בלבד, אך בזמן ההקלטות ביצע גם את רוב התזמורים. בתקליטו הבא של דונובן, "Mellow Yellow", ביצע כבר את כולם. ב-1968 הזמין ג'ונס את הגיטריסט ג'ימי פייג' להקלטות הלהיט הבא של דונובן, "Hurdy Gurdy Man". ב-1967 עשה ג'ונס את עיבוד כלי המיתר בשיר "She's a Rainbow" של הרולינג סטונז. בין היתר ניגן גם בהקלטות "מתבודדי הרמן" של המפיק מיקי מוסט (Mickie Most).[1]
בשנת 1968, הגיטריסט ג'ימי פייג', לשעבר הגיטריסט של להקת היארדבירדס, שכר את ג'ונס כבסיסט וקלידן, זמר בשם רוברט פלאנט ומתופף בשם ג'ון בונהם במטרה להקים להקת רוק חדשה.
לד זפלין נחלו הצלחה כבר מצאת אלבומם הראשון, וצלילם היה חדשני ומיוחד. התרומה של ג'ונס כבסיסט וקלידן הלהקה הייתה גדולה, הוא הביא ללהקה את הצליל הבלוזי שלה.
בשנת 1980, ג'ונס הוא זה שמצא את חברו הטוב ומתופף הלהקה ג'ון בונהם חסר רוח חיים, הדבר שהוביל לפירוק הלהקה באותה שנה.
קריירה מוזיקלית מאוחרת
לאחר פירוק הלהקה, חזר ג'ונס לעבוד כנגן שכיר, אך כעת עבד עם מוזיקאים יותר פופולריים, לאחר שצבר פופולריות והערכה משל עצמו. בנוסף, עסק בפרויקטים צדדיים וגם כמפיק.
הוא ניגן בס בשיר של פול מקרטני "Ballroom Dancing", שהוקלט מחדש לפסקול הסרט "Give My Regards to Broad Street" משנת 1984.
אלבום הסולו הראשון שלו משנת 1985, היה למעשה פסקול לסרט בשם Scream For Help, אותו הלחין לבדו.
בשנת 1994, הוציא אלבום רוק אלטרנטיבי משותף יחד עם הזמרת דיאמנדה גאלאס.
בשנת 1999, הוציא את האלבום Zooma, אלבום אינסטרומנטלי לגמרי עם אלמנטים של הבי מטאל ובלוז.
ב-2001 הוציא את האלבום The Thunderthief, בו לראשונה שר ג'ונס בקטעים ספורים, בעקבות צאת האלבום יצא לסיבוב הופעות.