V roku 1812 založil s Georgeom Peacockom a Johnom Herschelom spolok "Analytická spoločnosť" zameraný na rozvoj matematickej vedy. V roku 1816 bol zvolený za člena Kráľovskej vedeckej spoločnosti. Od roku 1827 bol profesorom matematiky na Cambridge.[2]
Diferenčný stroj dostal konkrétne črty v roku 1821. Vtedy sa Babbage stretol s astronómom Johnom Herschelom a po tom, čo dlho preverovali zložité a nesprávne výpočty, Babbage zvolal: „Preboha, kiež by bol býval tieto kalkulácie robil parný stroj!“
O dva roky začal svoju myšlienku stvárňovať. Najskôr načrtol plán Diferenčného stroja I. Bol to však zložitý a drahý projekt, a vynálezca utratil vládne peniaze, za ktoré by sa dali postaviť dve bojové lode. Po tom, čo sa pohádal aj s hlavným inžinierom, ktorého upodozrieval, že nadsadzuje výdavky (inak povedané - kradne), vymyslel lepší projekt: Diferenčný stroj II. Veľa vecí v ňom zdokonalil a urobil z neho obrovský „drvič“ čísel, ktorý zefektívnil zložité výpočty. Ani ten však nedokončil.
Ďalší Babbageov projekt "Analytického stroja" však znamenal historický prechod od mechanických strojov k programovateľnému počítaču. Stroj mal 4 základné časti, a to "mill" - procesor, "store" - pamäť, "reader" - vstupné zariadenie a "printer" - výstupné zariadenie. Na jeho prácu nadviazal Talian Luigi Federico Menabrea a Angličanka Ada Lovelace.[2]
V roku 1991 postavili v Británii na základe jeho plánov diferenčný stroj č. 2, čím bola dokázaná realizovateľnosť jeho návrhu.[3]