„Mert igazán csak rajzolni szerettem. Ezt akkor vettem észre, amikor egy alkalommal a tanító úr a hegedűjét tette ki az asztalra, ezt kellett a hatodikosoknak lerajzolni. Én csak harmadikos voltam még, de a hegedű nagyon tetszett. Elkezdtem én is rajzolni.” „A rajzfüzetem a vizsga vendégeinek kezéről kezére járt. … A faluban is híre ment, hogy a plébános megnézett magának. A család komolyan kezdte fontolgatni, hogy mi legyen velem, hiszen mások is mondogatják most már, hogy be kellene küldeni a városba, iskolára. Tanító, pap ugyan nem, de valami olyas, ahol a rajzkészségnek hasznát lehet venni. Így kerültem be a városi főreálba, aminek nyolc hosszú évét éppen most a múlt júniusban végeztem el. Nem is akárhogyan, hiszen a jeles érettségim még a helyi lapban is megjelent.[1]”
Ezután a Magyar Királyi József Nádor Műszaki és Gazdaságtudományi Egyetemre került, ahol építészmérnöki diplomát szerzett 1935. június 11-én. Mint fiatal építészmérnök 1938-ig Münnich Aladár, Györgyi Dénes és Wälder Gyula tanárok tervező irodájában dolgozott. Az 1938-as évi budapesti Eukharisztikus kongresszus építészeti pályázatán sikeresen szerepelt. A 30-as évek végén magas színvonalú falusi háztervei valósulhattak meg. 1939–től önálló magánépítészként tevékenykedett. 1949-től a MATI (Magasépítési Tervező Intézet) csoportvezetője, 1951-től a KÖZTI (Középülettervező Vállalat) műteremvezetője, 1952-től a LAKÓTERV (Lakó- és Kommunális Épületeket Tervező Vállalat) főépítésze volt. Egyaránt foglalkozott lakó- és középületekkel. Részt vett a komlói, a tatabányai, a várpalotai és a kazincbarcikai lakótelepek tervezésében. Budapesten a Nagy Lajos király úti lakótelepet tervezte. Nevéhez fűződik a háborúban megsérült Vígszínház újjáépítése (Kiss Tiborral és Flach János belsőépítéssze) valamint a várpalotai kultúrház. 1953-tól Szombathely és Vas megye főépítészeként elkészítette a Szombathely átfogó rendezési tervét (1954-től) és a város külső területeinek rendezési tervét (1958). Városrendezései kapcsán az egykori városszerkezetek megőrzését rendkívül fontosnak tartotta, ennek egyik legszebb példája a szombathelyi Savaria tér épületegyüttese a Claudius-kúttal. Javaslatai alapján indították meg a Derkovits-városrész fejlesztését. Szombathelyen középületek sora fűződik a nevéhez: Művelődési és Sportház (1963), megyei Szakorvosi Rendelőintézet (Ligeti Gizellával közösen, 1965), megyei pártszékház (1967), Bartók Béla zeneiskola (1968). Ő kezdeményezte a Szombathelyi zsinagóga hangversenyteremmé történő átalakítását - Bartók terem (Ligeti Gizellával közösen, 1970-75). Károlyi Antal nevéhez kötődik a büki gyógyfürdő fejlesztésének I. üteme. Zoltán László, a Lakóterv egykori vezetője így emlékezett Károlyi Antalra:
„Károlyi Tóni munkatárs beszámolóját hallgattam egy Vas megyei kiszállásról, Bük faluról, ahol olajat kerestek, s forróvizet találtak. A hőtől és sótól a halak a patakban elpusztultak, ám a falu népe lábát lógatta a patak meleg vizébe. Nagy fantázia van ebben a lehetőségben: egy fedett fürdőmedencét kell tervezni – mondta Károlyi Tóni...”
(A büki gyógyfürdő építésének első üteme óta több medence és szálloda épült meg.) Műemlékvédelelmmel is foglalkozott. A Várpalotai vár példás műemléki helyreállításán dolgozott 1952-től 1967-ig. Egyik alapítója volt a Magyar Építőművészek Szövetségének, tagja az Építészeti Tanácsnak, tanára a Magyar Építőművészek Szövetsége (MÉSZ) mesteriskolájának. A szocialista realista építészet egyik hazai vezéregyénisége. Formakészsége sokáig a klasszicizmushoz kapcsolta. 1955 után az új építészet irányában kereste a kibontakozást. Szakirodalmi cikkei írásai is megjelentek sajtóban, és könyv alakban is.
Művei
A Művelődési és Sportház épületeBartók Béla Zeneiskola és Hangversenyterem (Bartók terem) az egykori szombathelyi zsinagóga
