נולד לגרשון-יצחק ופעסיל הלוי, בקרקוב שבפולין, ולמד בעירו אצל הרב יודל אסטראווצר והרב יוסף ענגיל, ואצל הרב הרב דוד דוב מייזליש באויהל. בנעוריו, בשנת ה'תרע"ג, היגר עם הוריו לארצות הברית ולמד בישיבת רבינו יצחק אלחנן, ובה נסמך לרבנות. בהקדמת ספרו סיפר שבעקבות מצב כלכלי קשה של משפחתו רצה ללכת לעבוד, אולם אביו התעקש שילמד בישיבה. נישא למיכל סימא, בתו של הנדבן אהרן דרייזין,[1] ונולדו להם שלושה בנים ובת אחת.
בין השנים ה'תרפ"א–ה'תרפ"ד שימש כרב קהילת "בית ישראל" בניו יורק. החל משנת ה'תרפ"ה שימש כרב קהילת "שערי תפילה" בפרת' אמבוי, ניו ג'רזי. בקהילה זו הקים תלמוד תורה בו למדו, באורח לא מצוי, "עברית בעברית". בשנות ה-60, לאחר שבריאותו הורעה, סיים את תפקידיו הרבניים הציבוריים, עבר למונטריאול ושם הוציא את ספרו.[2]
הרב הלוי שימש ראש ועד ההלכה של הסתדרות הרבנים דאמריקה. לאחר מכן, בין השנים 1940–1942 שימש כנשיא השני של ההסתדרות. היה חבר הוועד הפועל של תנועת המזרחי באמריקה. כמו כן, ייסד את הסתדרות יהודי הונגריה באמריקה.[3]
חיבר את הספר "שמחת הלוי" שבו חידושים על התלמוד. בהקדמתו כתב שהוציא רק את מקצת כתביו, מכיוון שהיה באותה עת פצוע בידו. הוא תכנן להוציא את השאר בהמשך, אולם הם אבדו לפני שהספיק להוציאם.
הרב לוי נקט בגישה מקלה ביחס לגיור בני ובנות זוג של יהודים מתבוללים. דעתו המעודדת את גיור זה התפרסמה בעיתונות.[5] גם לגבי גיור קטנים שנולדו מנישואים כאלה נקט בעמדה מקלה, וקבע שגם כאשר ברור שהילדים יגדלו במשפחה חילונית יש מקום לערוך את הגיור, בשל שעת הדחק הגדולה והנזקים שיגרמו מאי גיורם:
וידוע כי לדאבוננו המצב בענין הזה פרוץ ובפרט בעירות קטנות ורבים מאלו שנולדו מישראל הבא על הנכרית מתערבים עם היהודים ומתחשבים כיהודים ואנו אין בידינו להפרידם. ועכ"פ אם ע"י טבילה לא יהיה גוי מצד הדין נציל בזה הרבה פעמים מנשואי תערובת
— שמחת הלוי כ,ב
כנשיא הסתדרות הרבנים פעל לאחד את אגודות הרבנים של אמריקה (הסתדרות הרבנים, אגודת הרבנים ואיגוד הרבנים).[6] התכתב עם מזכיר אגודת הרבנים הרב יהודה זילבר כדי לפשר בין בין שני הארגונים, ואף נפגש עם חברי האגודה מספר פעמים.[7] בעניין זה כתב:
בכל זמן ועידן כל עוד שיש אפשרות לקרב – אין לרחק... החלטה זו של אגוה"ר, שחבריה לא יתחברו לאגודה רבנית אחרת, נתקבלה לפני שנים וזאת היא הפעם הראשונה שבאה בקשר עם ההסתדרות לפשר את הענין [...] פירוד זה יחזק רק את אלו שחפצים לראות ח"ו בהשפלתה של כבוד התורה ובמיעוט השפעתה, ועלינו להשתדל בכל האפשר לארגן את כל הכוחות שלנו ועל ידי זה להביא ברכה אל ביתנו, ברכה המשולשת המסיימת וחותמת בשלום.
