Mivel Magyarországon csak kevés zsidó származású kaphatott diplomát, 1839-ben Párizsba költözött és az ottani egyetemen folytatta tanulmányait. Párizsi tartózkodása alatt ült össze Pozsonyban az országgyűlés, amelynek egyik témája a zsidók egyenjogúsítása volt. Az akkor már jó tollú újságírónak ismert Bloch Móricot 1840-ben Eötvös József báró biztatására felkérték egy cikk elkészítésére. Ekkor írta a „Zsidókról” című röpiratát, mellyel az országgyűlésben is elismerést keltett.
A röpirat fogadtatása alapján Eötvös József felkérte, hogy térjen haza és vegyen részt abban a programban, amellyel a magyar nyelvet a zsidóság körében akarták terjeszteni.
Hazatérve 1840–1841-ben kiadta a „Mózes öt könyvét”, mely kétnyelvűen, magyar és héber nyelven, kötetenként jelent meg. A fordítást a Talmudból vett magyarázatokkal látta el. Tóra-fordítása eredményeként a Magyar Tudományos Akadémia az akkor még Bloch Móricot levelező tagjává választotta, ezzel ő lett az első zsidó magyar akadémikus. Akadémiai székfoglalója a nyelvészettel foglalkozott. (1840-ben, 25 évesen a Nyelvészeti nyomozások címmel tartotta meg székfoglalóját.) 1841-ben imakönyvet készített „Izráel könyörgései egész évre” címmel. 1842-ben jelent meg az „Első jósok (Jóshua)” könyve magyar fordítással, sőt Mózes öt könyvét is magyarra fordította. Mivel fordítási módja nem nyerte el a teológusok tetszését és kemény bírálatban is részesült, felhagyott a további szentírási szövegek fordításával.
1843-ban már újra Magyarországon volt, ahol összetűzésbe került a zsidóság vezető köreivel. Ennek eredményeképp újra Németországba utazott és 1843 májusában áttért az evangélikus vallásra, amelyet később reformátusra cserélt; kálvinista lett.
1843-ban doktori fokozatú bölcsészdiplomát szerzett Németországban. Ekkor újra visszatért Magyarországra, és Szarvason, az evangélikus líceum tanára lett. Vajda Péterrel, aki a „Zsidókról” című röpirathoz előszót írt, a környékbeli nem magyar nyelvű településeken a magyar nyelvet terjesztette. Hitéletében következetesen kiállt az evangélikus és a református egyház egyesítéséért. 1845-ben feleségül vett egy keresztény nőt; ennek következtében a zsidókkal való szakítása véglegessé vált. 1847-ben kritikái jelentek meg a Magyar Szépirodalmi Szemlében.
1877-ben megbetegedett, ezért nyugdíjba vonult és csak tudományos tevékenységgel foglalkozott. Ekkor jelent meg a magyar nyelvészettel foglalkozó számos munkája, valamint szótárai is (A magyar nyelv teljes szótára, Brassai s a nyelvújítás, Nyelvünk újabb fejlődése, Magyar–német és Német–magyar szótár, A héber nyelv elemi tankönyve). 1884. július 23-án Ferenc Józseftől királyi tanácsosi címet kapott.[4]
Ballagi tizenhat nyelven beszélt, ezek között olyan nyelveken is, mint az óhéber, latin, ógörög és szanszkrit.
A hagyomány szerint Nógrád vármegyében, Szontágh Pál birtokán egyszerre volt vendég Madách Imrével, Arany Jánossal. Madách legújabb írását olvasta fel barátainak, a mű címe azonban hiányzott. Eközben Ballagi a kastély melletti tavon csónakázott, ám a csónak felborult, és ő csuromvizesen tért vissza a többiekhez. Amikor megkérdezték tőle, mi történt, csak annyit felelt: „Ez az ember tragédiája”. Ez a mondata lett Madách híres művének címadója.[7]
Művei
A zsidókról (Pest, 1840)
Mózes öt könyve (ford.) 1–5. köt. (Buda, 1840–1841)