נולד בברעזא שבליטא, ללאה ולרב ברוך לוין. בצעירותו גדל אצל סבו. למד בתלמוד תורה המקומי בעיירת הולדתו, ובהיותו בן 14 עבר ללמוד בישיבת לומז'ה, שם הוא התקרב לרב מלכיאל צבי טננבוים מחבר הספר "דברי מלכיאל". לאחר כשנתיים עבר ללמוד בסלובודקה, בישיבת "כנסת בית יצחק", שם למד כחמש שנים, לאחר מכן למד תקופה קצרה בבריסק ועבר לוולוז'ין, שם למד אצל הרב רפאל שפירא (לימים נישא לנינת אחיו). לאחר תקופת לימודו בוולוז'ין עבר הרב מרדכי דוד ללמוד במאלטש אצל הרב זלמן סנדר כהנא שפירא, שם הוא למד שלוש שנים, עד שנת ה'תרס"ג (1902-1903) כאשר נסגרה הישיבה. בסוף אותה שנה פתח הרב שמעון שקופ ישיבה במאלטש, וכשחיפש בחורים עילויים לפתוח איתם את הישיבה הוא פנה אל הרב מרדכי דוד במכתב, והוא נעתר, וכך נוצרה ביניהם ידידות עמוקה, שבאה לידי ביטוי בחילופי מכתבים תכופים בין השניים. בתקופת לימודו אצל הרב שקופ עלה אביו לירושלים, הרב מרדכי דוד נותר לבדו כשהוא מקדיש את זמנו ללימוד שיטת ההיגיון של הרב שקופ.
בסוף שנת ה'תרס"ו (1906) עלה לארץ ישראל, ובשנת תרס"ז (1906-1907) נכנס ללמוד בישיבת תורת חיים בירושלים, כשהוא נודע אז בכינוי "העילוי מברעזא".
בשנת ה'תרע"ח[דרושה הבהרה] הוא חזר לירושלים, ואז קיבל לידיו שורה ארוכה של הצעות משרה. לבסוף החליט לקבל את ההצעה שבצדה השכר הנמוך ביותר - ראשות ישיבת עץ חיים, שבה לימד כיובל שנים, עד יום פטירתו. התגורר בשכונת בתי הורודנא. נטמן בחלקת הרבנים בהר המנוחות.
