לארי נולד בבולטימור, ארצות הברית, למשפחה יהודית. על אף שלמד תקופה קצרה בילדותו לנגן על פסנתר, במפוחית היה אוטודידקט ולמד לנגן באופן עצמאי, כך שעד גיל 27 אפילו לא ידע לקרוא תווים.
את גדולתו של אדלר בעיני נגני מפוחית, ניתן להסביר בכך שהיה הראשון שהעלה את מעמד המפוחית, שעד אז נחשב ככלי מוגבל ועממי ששימש בעיקר לנגינת מוזיקת פולק וליווי, לכדי כלי נגינה רציני העומד בפני עצמו. אדלר היה מופיע בהיכלי קונצרטים, עם קטעים קלאסיים כשסימפוניה מלווה אותו, וכשהמפוחית משמשת ככלי הסולו.
ב-1949, לאחר שהואשם באהדה לקומוניזם, נאלץ לעזוב את ארצות הברית ועבר להתגורר באנגליה לשארית חייו.
בנוסף לנגינה, גילה אדלר כישרון גם בתחומים נוספים. הוא שיחק במספר סרטים והופיע בסדרות טלוויזיה; כתב טור סאטירי פופולרי במגזין "Private Eye", שימש כמבקר מסעדות וכתב מספר ספרים, ביניהם האוטוביוגרפיה שלו, "It Ain't Necessarily So" ב-1985.