Moïse Schwab fait ses études à l'École israélite et au Talmud Torah de Strasbourg. De 1857 à 1866 il est le secrétaire de Salomon Munk. Il travaille ensuite pendant un an comme interprète assermenté près la cour d'appel de Paris, puis, en 1868, il devient bibliothécaire à la Bibliothèque nationale. En 1880, le ministre de l'Instruction publique l'envoie en Bavière et dans le Wurtemberg effectuer des recherches sur les premières imprimeries juives.
Auteur de nombreux ouvrages et articles de presse, Schwab est surtout connu pour sa traduction en français du Talmud de Jérusalem, qu'il commence en 1867 ou 1868, avant la parution de l'Introduction au Talmud de Zacharias Frankel (1870) et des différents dictionnaires d'hébreu talmudique. La première partie, publiée en 1871, reçoit un accueil favorable, même si le travail de Schwab ne peut échapper aux critiques. Il cherche ensuite la collaboration d'éminents talmudistes, mais sans succès, et doit terminer seul son œuvre.