שרמן נולד במיאמי שבארצות הברית.[2][3] בדצמבר 1983, הצטרף לרד הוט צ'ילי פפרס והחליף את חבר הלהקה הלל סלובק. שרמן נשאר עם הלהקה במהלך סיבוב ההופעות הראשון שלהם ב-1984 שקידם את מכירות אלבום הלהקה הראשון. הוא היה שותף בהלחנת חלק מהשירים באלבום הלהקה השני. בתחילת 1985, עזב שרמן את הלהקה כשסלובק חזר.[4] אף על פי שלא היה חבר להקה רשמי בשלב זה, השתתף באלבומים Mother's Milk וב-The Abbey Road EP.
בשנת 2012, נכנסה להקת רד הוט צ'ילי פפרס להיכל התהילה של הרוק אנד רול אך שרמן ודייב נבארו (אנ'), שניגנו כל אחד בגיטרה באלבום אחד של הלהקה, נותרו בחוץ.[5] היכל התהילה טענו שמדובר בסיבות טכניות וכי הזוכים יכולים להיות רק חברי הלהקה המקוריים, החברים הנוכחיים או שניגנו במספר אלבומים.[6] שרמן טען שמדובר בסיבות פוליטיות שאליהן אחראית הלהקה ולא היכל התהילה וצוטט כשאמר ”כואב מאוד לראות את החגיגה הזו ושאני בחוץ.”[7]
שרמן מת ב-18 באוגוסט 2020, בגיל 64, מסיבה שאינה ידועה. חברי הלהקה ספדו לו לאחר מותו: ”אנחנו במשפחת רד הוט צ'ילי פפרז מאחלים לג'ק שרמן שהלך לעולמו הפלגה חלקה לעבר העולם הבא. ג'ק ניגן באלבום הבכורה שלנו וגם בסיבוב ההופעות בארה"ב. ג'ק היה טיפוס מיוחד ואנחנו מודים לו על הזמנים הטובים, הרעים, ומה שביניהם”.[5][8]