גריי, נולד בשם ג'ואל דייוויד כץ (Joel David Katz) בקליבלנד, אוהיו, לאמו גולדי ולאביו הקומיקאי היהודימיקי כץ. הוא החל את דרכו כשחקן תיאטרון בתיאטרון ילדים ובהצגות מקומיות באזור מגוריו שבקליבלנד.
בסוף שנות ה-50 וראשית שנות ה-60 הופיע בסדרות של מערבונים בטלוויזיה. בשנת 1966 קיבל את תפקידו הגדול הראשון בברודוויי כאדון הטקסים במחזמר, מהחשובים בכל הזמנים, "קברט". המחזמר זכה להצלחה גדולה וגריי זכה על תפקידו בפרס הטוני. גריי היה מועמד שלוש פעמים נוספות לפרס הטוני.
גריי התפרסם בסדרות טלוויזיה כגון "באפי ציידת הערפדים", שאליה הצטרף לעונה החמישית וגילם את השד דוק; בסדרת בית הסוהר "אוז", שבה גילם את האסיר היהודי למואל איציק; ו"גשר ברוקלין", שעל הופעת האורח שלו בהּ היה מועמד לפרס אמי.
גריי הוא אביה של כוכבת סרט הקאלט "ריקוד מושחת" ג'ניפר גריי. הוא נישא ב-1958 לג'ו ויילדר והתגרש ממנה בשנת 1982; לזוג ילד נוסף בשם ג'יימס. מלבד קריירת משחק גריי הוא גם צלם חובב, שפרסם שלושה ספרי צילומים.