Orphelin de mère puis de père, Alfred Paul Victor Morel-Fatio est placé sous la tutelle d'un de ses oncles, le banquier et numismate Arnold Morel-Fatio, et obligé de gagner sa vie comme garçon de bureau chez Dollfus-Mieg. Puis un héritage lui permet de reprendre des études et il entre en 1869 à l’École des chartes où il obtient le diplôme d’archiviste paléographe grâce à une thèse consacrée à un poème castillan du XIIIe siècle, le Libro de Alexandre[2].
Il est nommé attaché au département des manuscrits de la Bibliothèque nationale et rédige le Catalogue des manuscrits espagnols et portugais de la Bibliothèque Nationale, publié peu après (1881-1892).
Il se tourne alors vers l’enseignement en acceptant en 1880 une chaire de professeur à l’École supérieure des lettres d’Alger. Il revient en métropole en 1885 pour occuper le secrétariat de l’École des chartes (1885-1907), tout en enseignant la philologie à l’École pratique des hautes études, qu’il finit par diriger.