Сын Элиоху Шмуэла Левина, раввина в Никополе и с 1899 года в Екатеринославе. Учился в нежинской и слободской иешивах. Ученик Пинхаса Гельмана. В 1916 получил смиху и стал раввином синагоги в ГришиноБахмутского уезда[2]. В 1920 году стал раввином в Екатеринославе, затем был переписчиком священных текстов и до 1941 года жил в Гришино (Красноармейске), откуда эвакуировался в Узбекистан. В 1946—1953 годах вновь раввин синагоги на улице Коцюбинского в Днепропетровске, затем вернулся к дочерям в Красноармейск. С 1921 года был женат на Фрейде Ароновне Фельдман.
В 1957 получил приглашение возглавить иешиву «Кол Яаков» в Москве. В том же году после смерти раввина Шлойме Шлифера избран главным раввином Москвовской хоральной синагоги. В 1968 году посетил США, в 1970 году — Будапешт. Выпустил молитвенник «Сидур ашалом — тфилот леколь ашана» (1968)[3]. В 1969 году руководство общины организовало празднование 70-летия Левина и пригласило раввинов из других стран. Левин старался воздерживаться от действий и заявлений, грубо противоречащих интересам советского еврейства, и занимал осторожную позицию в отношении к Израилю и антисемитизму в Советском Союзе, для чего нередко стоял за деятельностью, которую он якобы поддерживал, как участие в антисионистском Американском совете по иудаизму в 1968 году и Конференции представителей иудейского духовенства и еврейских религиозных общин Советского Союза в 1971 году, с целью осудить израильскую политику.
Воспоминания рава Левина собраны в книге «Шомрей ха-Гахелет» (Иерусалим — Нью-Йорк, 1966).
