El nom Carlow és l'anglesització del nom irlandèsCeatharlach. Històricament fou anglesitzat com a Caherlagh,[1]Caterlagh[2] i Catherlagh,(Survey 1654), més propers a la pronunciació irlandesa. Segonslogainm.ie la primera part deriva de l'irlandès anticcethrae ("animals, ramat"),[3] que està relacionat amb ceathar ("quatre") i voldria dir "quatre potes".[4] La segona part és la terminació -lach.
Altres com Deirdre Flanagan creuen que el nom podria ser Ceatharloch ("quatre llacs"),[5] de ceathar que vol dir "quatre" i loch que vol dir "llac".
El monestir de Saint Mullins potser va ser-hi construït en el segle VII.
En el segle xiv es van construir nombrosos castells a la vila: Ballyloughan Castle, Ballymoon Castle, Leighlinbridge Castle i Tower House. El 1793 s'hi fundà el College St Patrick. El 1798 s'hi va produir la batalla de Carlow, en la que en atac dels Irlandesos Units foren massacrats 600 rebels i civils per les tropes britàniques.
