גוסט נולד בשכונת ברוקלין שבניו יורק, בנם של הלן רבקה, אחות במקצועה, ולואיס גוסט האב, סבל במקצועו.
גוסט הוא בוגר "תיכון אברהם לינקולן". גוסט למד ב"אוניברסיטת ניו יורק", ובהיותו בגובה 1.93 מטר הוצע לו לשחק בקבוצת הכדורסל המקומית אך הוא דחה את ההצעה וגם את ההצעה למלגת ספורטאי במטרה להתמקד בלימודי תיאטרון. את הופעתו הראשונה במחזה בחסות האוניברסיטה ערך גוסט בגיל 17. עוד בהיותו תלמיד תיכון היה כישרונו של גוסט בולט לעין, והוא נדחף על ידי מוריו להיבחן לתפקיד בברודוויי בו הוא זכה מתוך מבחר של 200 נבחנים.
בסרטו הראשון השתתף גוסט בשנת 1961, כאשר שיחק בתפקיד משני בדרמה "צימוק בשמש". הוא השתתף בסדרה "שורשים" שזיכתה אותו בפרס אמי, ובסרטים "בעל הבית", סרטו של ג'ורג' קיוקור המבוסס על הסיפור "מסעותי עם דודתי" ובמותחן המסתורין "המעמקים", כולם צולמו במהלך "שנות ה-70".
בשנת 1982 היה גוסט השחקן האפרו-אמריקאי השני בהיסטוריה שזכה בפרס האוסקר אחרי סידני פואטייה, והראשון אי פעם שזכה בפרס אוסקר לשחקן המשנה הטוב ביותר על הופעתו בסרט הדרמה "קצין וג'נטלמן", שעליה גם הוסיף זכייה בפרס גלובוס הזהב. בסרט גילם גוסט את סמל אמיל פולי, מדריך הטירונות הקשוח של הצי האמריקאי, שמנסה להזהיר בלא הצלחה את הטירון ז'ק מאיו (ריצ'רד גיר) מפני הבנות המקומיות המנסות לעשות הכל כדי ללכוד בעל טייס.
תפקיד זה היה למעשה התפקיד המשמעותי האחרון של גוסט בהוליווד, לאחר מכן הופיע גוסט בהפקות קטנות יותר. בפרס גלובוס הזהב השני שלו זכה גוסט ב-1992 עבור תפקידו בסרט הטלוויזיה "סיפורה של ג'וזפין בייקר".
גוסט היה נשוי שלוש פעמים.
נישואיו הראשונים היו להת'י גלאססו והתבטלו לאחר זמן קצר.
נישואיו השניים היו לכריסטינה מנגוסטינג ב-1973, בנם נולד שנה לאחר מכן וב-1975 החליט הזוג להתגרש.
גוסט התחתן בפעם השלישית בשנת 1987 עם שחקנית הקולנוע סינדי ג'יימס ריס, הזוג אימץ ילד והתגרש בשנת 1992.