פיליפס נולד במרדן (אנ') בוילטשייר ב-25 בדצמבר 1800. אביו היה שייך למשפחה וולשית ותיקה, אך התיישב באנגליה כקצין מכס ונישא לאחותו של ויליאם סמית', גאולוג אנגלי חשוב. בילדותו כששני ההורים נפטרו, סמית' נטל את המשמורתו על ג'ון פיליפס ואחותו אן פיליפס שהובאו לביתו של סמית' בלונדון בראשית 1815. במהלך השנים הבאות הוא למד בבתי ספר שונים ועזר לדודו במחקר הגאולוגי. הוא גם פיתח עניין בליטוגרפיה (הדפסה מלוחות אבן מוכנים), והיה בין המומחים האנגלים הראשונים שהשתמשו בתהליך בין 1816 ל־1819. לאחר סיום הלימודים, ליווה פיליפס את סמית' במסעותיו להכנת מפות גאולוגיות. באביב 1824 נסע סמית' ליורק כדי להעביר הרצאות בגאולוגיה, ואחיינו פיליפס ליווה אותו. ג'ון פיליפס קיבלו משימות בעיירות העיקריות ביורקשייר כדי לארגן את המוזיאונים שלהם ולהעביר קורסים על האוספים הכלולים בהם. יורק הפכה למקום מגוריו, והוא השיג במהלך שנת 1826 את המישרה של האחראי על מוזיאון יורקשייר (אנ') וכן הפך למזכיר האגודה הפילוסופית של יורקשייר (אנ').
מאותו מרכז, פיליפס הרחיב את פעילותו לערים שמעבר למחוז, ובשנת 1831 כלל את יוניברסיטי קולג' בלונדון בתחום פעילותו. באותה שנה הוקמה האגודה הבריטית לקידום המדע (אנ') ביורק, ופיליפס היה אחד האנשים שארגנו אותה. הוא הפך למזכיר האגודה מ־1832 עד 1859. במהלך 1834 קיבל את התואר פרופסור לגאולוגיה בקינגס קולג' בלונדון, אך שמר על תפקידו ביורק.[2]
פיליפס בילה זמן מה בחקר המאובנים הפאלאוזואיים של דבון, קורנוול ומערב סאמרסט, אותם פרסם בספר (בשנת 1841). באותה שנה הוא פרסם את טבלת הזמנים הגאולוגית העולמית הראשונה, שנבנתה על בסיס שכבות סלע בהתאמה לסוגי המאובנים שנמצאו בהן. טבלה זו עזרה לתקנן את השימוש במונחי התקופה הפליאוזואית, אותה הוא הרחיב לתקופה ארוכה יותר ממה שהיה בעבר. וכן הגדיר את התקופה המזוזואית, כאשר היא הייתה הגדרה שלו. הוא גם עשה סקר מפורט על אזור הרי מלברן (אנ'), ממנו הכין (עם אחותו אן פיליפס) את הטבלה המורכבת המופיעה בכרך השני של הסקר (1848).[3] במהלך 1844 התמנה לפרופסור לגאולוגיה באוניברסיטת דבלין (אנ').[4]
תשע שנים לאחר מכן, לאחר מותו של יו אדווין סטריקלנד ששימש כמחליף לדקאןויליאם בקלנד במחלקה לגאולוגיה באוניברסיטת אוקספורד, פיליפס הצליח לקבל את תפקידו. במותו של הדקאן במהלך 1856, פיליפס הפך בעצמו לראש המחלקה, תפקיד שהיה לו עד למותו.
בזמן מגוריו באוקספורד היה לו חלק מרכזי בייסודו ובסידורו של מוזיאון אוניברסיטת אוקספורד לתולדות הטבע (אנ') שהוקם במהלך 1859. פיליפס היה גם מנהל מוזיאון אשמוליאן בין השנים 1854–1870. בשנים 1859–1860 היה נשיא האגודה הגאולוגית של לונדון. פיליפס ערך גם תצפיות אסטרונומיות על כוכב הלכתמאדים במהלך בשנת 1862.
ב־23 באפריל1874 הוא סעד במסעדה באול סולס קולג', אך עם עזיבתו החליק ונפל במדרגות האבן. הוא נפטר למחרת, ונקבר בבית העלמין ביורק (אנ'), לצד אחותו אן פיליפס וחברו המשורר תומאס גריי. ארון הקבורה שלו לווה לתחנת הרכבת של אוקספורד על ידי 200 אקדמאים באוניברסיטה.
Illustrations of the Geology of Yorkshire (in two parts, 1829 and 1836; 2nd ed. of pt. 1 in 1835; 3rd ed., edited by R. Etheridge, in 1875) Part 1 & Part 2; Full text of the 1829 edition at Archive.org
A Treatise on Geology (1837–1839); Vol I; Vol II
Memoirs of William Smith (1844);
The Rivers, Mountains and Sea-Coast of Yorkshire (1853);
Manual of Geology, Practical and Theoretical Part I; Part II(1855);
Life on the Earth: its Origin and Succession (1860);
Vesuvius (1869);
Geology of Oxford and the Valley of the Thames (1871).
^Morrell, Jack (2001). "Genesis and geochronology: the case of John Phillips (1800–1874)". Geological Society, London, Special Publications. Geological Society of London. 190 (1): 85–90
^John Phillips, A guide to geology, London : Longman, Rees, Orme, Brown, Green and Longman, 1834
^Rudwick, Martin Worlds Before Adam: The Reconstruction of Geohistory in the Age of Reform (2008) pp. 539-545