1667, i klostret i Saint-Germain-des-Prés, publicerade Mabillon Bernard av Clairvaux skrifter, och skrev ett verk om benediktinska helgon och ordens historia som utgavs 1668. I detta omfattande arbete i åtta band, Acta sanctorum ordinis sancti Benedicti, framställer han inte endast ordens historia, utan anlägger även en kritisk metod, som var banbrytande. Annales ordinis S. Benedicti (1703) i fyra band anses vara hans huvudverk i historia. Dessa och ytterligare verk har givit honom äran att kallas 1600-talets viktigaste historiker. Andra historieverk är De liturgia gallicana libri 111 (1685), och trebandsverket Ouvrages posthumes de Mabillon et de Ruinart (1724) som innehåller en del av Mabillons korrespondens.
1681 utgav han den första utgåvan av De re diplomatica libri sex, som är det verk han är mest känd för. Detta verk, dedicerat till Colbert, betraktas som det första verket om paleografi. Mabillon redogör för olika slags medeltida skrifter och manuskript samt ger praktiska råd om hur olika dokument skall behandlas källkritiskt. För detta verk blev han upptäckt av Jean-Baptiste Colbert, som erbjöd honom en livstidspension, vilket han avböjde. Kung Ludvig XIV av Frankrike blev också intresserad. Mabillon fortsatte med sitt värv, och begav sig ut i Europa i jakt på manuskript och böcker till det kungliga biblioteket. Han lyckades samla mer än 300 sällsynta och värdefulla exemplar.
Alla var emellertid inte lika förtjusta i Mabillons verk. Somliga munkar kritiserade honom för att vara alltför akademisk, och abboten i La Trappe förklarade att han bröt ordensreglerna genom att ägna sig åt studier snarare än hantverk. Mabillons svarsskrifter, Traitê des études monastiques (1691) och Réflexions sur la Réponse de M. l'Abbé de la Trappe (1692), har lagt grunden för benediktinordens akademiska framtoning, som den utmärker sig för.
När Mabillon under pseudonymen Eusebius Romanus ogiltigförklarade vördnad av de reliker i katakomberna som tillhörde de "okända helgonen", tvingades han av kurian att ta tillbaka vissa påståenden som föranledde ståndpunkten. Han anklagades även för jansenism i ett annat sammanhang, men behöll under den stormiga tiden stöd från kungen och kyrkan.
Inge Jonsson, "Karl den store och Parisuniversitetet", Vetenskapens träd : Idéhistoriska skrifter tillägnade Sten Lindroth, W&W Stockholm 1974, s. 22-23