שלהוב נולד וגדל בגרין ביי, ויסקונסין שבארצות הברית, למשפחה מרונית-נוצרית-ערבית. אביו היתום, ג'ו שלהוב, היגר לארצות הברית מלבנון, בהיותו בן 10. מאוחר יותר הוא נישא לאמו של טוני, הלן (לבית סרוג'י), שאף היא דור שני לאמריקאים-לבנונים, וייסד רשת חנויות מכולת משפחתית, שהחלה מחנות מכולת בודדת במרכז גרין ביי. טוני הוא התשיעי מבין עשרה אחים.
אחיו ואחיותיו של שלהוב הם שהכירו לו את עולם התיאטרון. כשהיה בן 6 בלבד, אחת מאחיותיו הגדולות נידבה את אחיה הקטן לשמש כניצב בהצגת בית ספר של "המלך ואני". התאהבותו בבמה הייתה מיידית. כאשר סיים את לימודיו בבית הספר התיכון המזרחי של גרין ביי, הוכתר על ידי חבריו הבוגרים כ"מתלבש הטוב ביותר" וכ"בעל הסיכויים הגבוהים ביותר להצליח". לאחר מכן המשיך בלימודים אקדמיים, סיים תואר ראשון בדרמה באוניברסיטה של מיין הדרומית בפורטלנד, ובשנת 1980 קיבל תואר שני מבית הספר לדרמה של אוניברסיטת ייל.
קריירה
זמן קצר לאחר שסיים את לימודיו, עבר שלהוב להתגורר בקיימברידג', מסצ'וסטס, שם נמנה במשך ארבע עונות עם שחקניו של תיאטרון הרפרטואר האמריקאי. לאחר מכן עבר לניו יורק, שם עבד כמלצר, ובמקביל ניגש למבחני בד. הופעת הבכורה שלו על במות ברודוויי הייתה ב-1985, במחזה "הזוג המוזר". בשנת 1992 היה מועמד לפרס טוני על תפקידו במחזה "שיחות עם אבי". שלהוב הכיר את אשתו, השחקנית ברוק אדמס, כאשר שניהם שיחקו ביחד במחזה "יומניה של היידי" בברודוויי.
ב-1999 חזר לשחק בסדרת טלוויזיה, הפעם בתפקיד הראשי בסדרה "Stark Raving Mad". שלא כמו הסדרה "כנפיים", סדרה זו לא זכתה לרייטינג גבוה בעונתה הראשונה, ובקיץ 2000 החליטה רשת NBC שלא לחדשה לעונה שנייה. הוא שיחק בדרמת הספורט "אישה בזירה" לצד מג ראיין ועומאר אפס.
לאחר היעדרות של שנתיים מהמסך הקטן, חזר שלהוב לשחק בסדרת טלוויזיה מצליחה. בין השנים 2002–2009 שיחק בתפקיד הראשי בדרמה הקומית-משטרתית "מונק", ששודרה ברשת הכבליםUSA. כמו כן, שימש כמפיק בפועל של הסדרה. שלהוב גילם את דמותו של הבלש הפרטי המבריק אדריאן מונק, שסובל מהפרעה טורדנית-כפייתית ומשמש כיועץ חיצוני של משטרת סן פרנסיסקו במקרי רצח מסובכים. התפקיד הוצע תחילה למייקל ריצ'רדס, עוד בשלב שבו רשת ABC בחנה אפשרות להפיק את הסדרה, ורק לאחר שזה הודיע שאינו מעוניין בתפקיד, הוא הוצע לשלהוב. על תפקידו בסדרה היה שלהוב מועמד לפרס אמי לשחקן הטוב ביותר בסדרה קומית במשך 7 שנים ברציפות, בשנים 2003–2009, והוא זכה בפרס שלוש פעמים: בשנים 2003, 2005 ו-2006. בנוסף על כך, היה מועמד לפרס גלובוס הזהב חמש פעמים וזכה בו בשנת 2003, ובשנים 2004 ו-2005 זכה בפרס גילדת שחקני המסך בקטגוריית השחקן הטוב ביותר בסדרה קומית.
שלהוב היה בין יוזמיה של תחרות בין יוצרי סרטים ערבים-אמריקאים, שהתקיימה ב-2005. במסגרת התחרות, יוצרי סרטים ערבים-אמריקאים הגישו תסריטים מקוריים שלהם, כאשר הפרס ליוצר הזוכה היה טיסה להוליווד והפיכת התסריט שלו לסרט.
בשנת 2015 שיחק שלהוב באחד התפקידים הראשיים בסדרה חסרי מוח, הוא שיחק את הסנטור הדרומי רד ויטוס, שנשלט על ידי חייזרים.
שלהוב התחתן עם השחקנית ברוק אדמס בשנת 1992. השניים הופיעו ביחד במספר סרטים, והיא אף התארחה בשלושה מפרקי הסדרה "מונק". כשנישאו הייתה כבר אדמס אם לבת מאומצת ששמה ג'וזי לין (נולדה ב-1988). לאחר נישואיהם אימץ גם שלהוב את הבת. ב-1994 אימצו השניים בת נוספת, סופי (נולדה ב-1993). המשפחה מתגוררת בלוס אנג'לס ובגרין ביי.
אחיו של שלהוב, מייקל, התארח בשני פרקים של הסדרה "מונק".