Caunt var født i Hucknall Torkard i Nottinghamshire i England. Han var 190 cm høy og hadde en matchvekt på rundt 95 kg. Det ble sagt om ham at han var sterk, utholdende og ivrig, men også treg og klumsete.
11. mai 1841 ble Caunt engelsk tungvektsmester etter å ha slått Nick Ward. Han holdt denne tittelen til 9. september 1845, da han tapte for William Thompson. Etter dette tapet, hvor han i tillegg ble beskyldt for juks, annonserte han at han trakk seg tilbake fra boksing. Han gjorde et forsøk på comeback i 1857 mot Nat Langham, denne kampen ble erklært uavgjort etter 60 runder, da begge var for slitne til å fortsette.
Caunt døde av lungebetennelse 10. september 1861 i St. Martins Lane i London. Han er gravlagt utenfor St. Maria Magdalena-kirken i Hucknall like ved sine to barn som begge omkom i en brann ti år tidligere.