רמפוזה נולד בסווטו, מקבץ של עיירות שחורים שהוקמו לאורך השנים בשולי העיר יוהנסבורג, דרום אפריקה. הוא השני מבין שלושת ילדיהם של ארמודט וסמואל רמפוזה. הוא נרשם ללימודים גבוהים באוניברסיטת לימפופו ב-1972 והיה מעורב בפוליטיקה עם הצטרפותו לארגון הסטודנטים של דרום אפריקה ולקונגרס השחורים[4]. לאחר שסיים את לימודיו המשפטיים, הצטרף רמפוזה למועצת האיגודים המקצועיים של דרום אפריקה (CUSA) כיועץ במחלקה המשפטית. ב-1982, המועצה ביקשה מרמפוזה לייסד איחוד של עובדי המכרות בדרום אפריקה; איחוד חדש זה הושק באותה שנה ונקרא האיגוד הלאומי של עובדי המכרות בדרום אפריקה. הוא נעצר בלבווה על ידי האפריקאנרים באשמת ארגון או תכנון השתתפות בוועידה בנאמקגאלה, מה שנאסר על ידי הרשות השופטת המקומית[5].
באוגוסט 1982 החליטה מועצת האיגודים המקצועיים של דרום אפריקה למנות את רמפוזה למזכירה הראשון של האיגוד הלאומי של עובדי המכרות בדרום אפריקה. הוא ארגן את הכנס שהוביל את מערך הקונגרס של מועצת האיגודים המקצועיים. במרץ 1986 היה חלק ממשלחת מועצת האיגודים שפגשה את הקונגרס הלאומי האפריקאי בלוסקה, בירת זמביה.
כשנלסון מנדלה שוחרר ב-1990 עמד בראש הוועדה שקיבלה את פניו. ביוני 1991 נבחר למזכיר הכללי של הקונגרס הלאומי האפריקאי (ANC). לאחר בחירתו כמזכיר הכללי של הקונגרס הלאומי האפריקאי בשנה זו, נתמנה רמפוזה לראש צוות המשא ומתן של הקונגרס על סיום מדיניות האפרטהייד עם ממשלת המפלגה הלאומית. לאחר הבחירות הדמוקרטיות הראשונות בדרום אפריקה שנערכו ב-1994, נבחר לפרלמנט של דרום אפריקה. הוא נבחר ליו"ר האספה החוקתית של הפרלמנט ב-24 במאי 1994 ושיחק תפקיד מרכזי בממשלת האחדות הלאומית.
לאחר שהפסיד לתאבו מבקי בבחירות לנשיאות דרום אפריקה, עזב את החיים הפוליטיים בינואר 1997 ועבר למגזר הפרטי, שם הפך למנהלה של "ניו אפריקה השקעות בע"מ". הוא הגיע למקום הראשון בבחירות 1997 לוועד הפועל הלאומי של הקונגרס הלאומי האפריקאי[6]. ב-2001 נחקר במשטרת דרום אפריקה, יחד עם טוקיו סקסוויל ומתאיוס פוסה, שני אנשי עסקים ידועים אחרים, בחשד לקשירת קשר להדחת הנשיא המכהן מבקי[7]. הוא הוכרז רשמית כמועמד לסגן נשיא דרום אפריקה ב-17 בדצמבר2012 והתמודד בבחירות עם גיבוי חזק מתומכיו של הנשיא זומה. ב-18 בדצמבר 2012 נבחר לסגן נשיא הקונגרס הלאומי האפריקאי עם 3,018 קולות, בעוד מתאיוס פוסה זכה ל-470 קולות וטוקיו סקסוויל ל-463 קולות.
ב-14 בפברואר2018 פנה ג'ייקוב זומה אל העם ואמר כי אף על פי שאינו מסכים עם החלטת הקונגרס הלאומי האפריקאי להדיחו[8], הוא מתפטר מהנשיאות[9]. כתוצאה מכך, מתוקף תפקידו כסגן הנשיא, רמפוזה הפך אוטומטית לנשיא דרום אפריקה בפועל בהתאם לחוקת דרום אפריקה[10]. יממה לאחר מכן, ב-15 בפברואר, נבחר על ידי הפרלמנט של דרום אפריקה לנשיא עד הבחירות לנשיאות שנערכו ב-8 במאי2019[11]. מפלגתו ניצחה בבחירות והוא הושבע לכהונה מלאה.
ב-2020 פעל ממשלתו של רמפוזה נגד מגפת הקורונה בדרום אפריקה, ובאוקטובר אותה שנה נכנס רמפוזה לבידוד עצמי לאחר שנחשף לחולה קורונה. בדצמבר 2021 אומת כחולה.
ביוני 2021 אישרה ממשלת דרום אפריקה לחברות פרטיות ליצר חשמל באופן פרטי ללא צורך ברישיון עד ל-100 מגה וואט (במקום מגבלת 1 מגה וואט שהייתה עד אז) בניסיון להתמודד עם משבר האנרגיה במדינה.[12] בתקופתו התגבר משבר האנרגיה במדינה וגדלו מספר הפסקות החשמל, ובפברואר 2023 הוכרז על אסון לאומי בשל המשבר.[13]