A Károlyi család sarja. Szülei gróf nagykárolyi Károlyi György (1802–1877) főispán, királyi valóságos belső titkos tanácsos, magyar királyi főudvarmester, politikus, valamint gróf zicsi és vázsonykői Zichy Karolina (1818–1903) voltak. Apai nagyszülei gróf Károlyi József (1768–1803), Békés vármegye főispánja, majd Szatmár vármegyeörökös főispánja, kamarás, földbirtokos és gróf Elisabeth von Waldstein–Wartenberg (1769–1813) voltak. Anyai nagyszülei gróf zicsi és vázsonykői Zichy Károly (1785–1876), császári és királyi kamarás, földbirtokos és gróf németújvári Batthyány Antónia (1789–1825) voltak. Nagybátyja, Károlyi István (1797–1881) politikus; bátyja, Károlyi Tibor (1843–1904) politikus; unokatestvére, Károlyi Sándor (1831–1906) politikus, közgazdász; unokaöccse, Károlyi Gyula (1871–1947) politikus, miniszterelnök.
Tanulmányait követően, 1865-ben Firenzébe utazott, ahol anyja, gróf Zichy Karolina szalonjában ismeretséget kötött a helyi magyar emigráció vezéralakjaival. 1866-tól az olasz kormány alá rendelt Magyar Légióban szolgált Klapka György tábornok segédtisztjeként. A légió 1867. évi feloszlatását követően bátyjával, Károlyi Tiborral közösen ők felügyelték a hazatérő magyarok útját, de a határon az osztrák rendőrség letartóztatta, s csak Bismarck porosz miniszterelnök közbenjárására kerülte el a haditörvényszéki felelősségre vonást. Rövid párizsi tartózkodást követően még 1867-ben hazatért, átvette a nagykárolyi Károlyi-uradalom igazgatását, és bekapcsolódott Szatmár vármegye politikai életébe.
1872–75-ben a főrendiház jegyzőjeként tevékenykedett. 1887-ben pártonkívüli független jelöltként a nagykárolyi választókerület országgyűlési képviselője lett. 1892-től négy éven keresztül a Szabadelvű Párt frakciójában foglalt helyet, majd 1896-tól ismét pártonkívüliként vett részt a parlamenti munkában. 1901-ben nem indult az országgyűlési választásokon, de a főrendiház tagjaként továbbra is alkalma nyílt közelről követnie a belpolitikai eseményeket. Az 1904. november 18-ai, zsebkendőszavazás néven elhíresült parlamenti botrány – az ellenzéki obstrukció letörésére erőszakosan keresztülvitt házszabály-revízió – tiltakozásra késztette, csatlakozott a Függetlenségi és Negyvennyolcas Párthoz és 1905-től haláláig ismét Nagykároly országgyűlési képviselője volt e párt színeiben.
Tevékeny közszereplő, korának egyik népszerű, közkedvelt személyisége volt, kortársai a „legelső magyar gavallér”-ként emlegették. 2000 forintot adományozott az 1882-ben felavatott Petőfi-szobor megvalósításához. Igazgatósági tagja volt a Nemzeti Lovardának, elnöke a Nemzeti Casinónak, díszelnöke a Caritas fővárosi jótékonysági egyletnek, 1907-ben pedig a Magyar Tudományos Akadémia igazgatósági tagjává választották.
Családja
1869-ben feleségül vette sombolyai és janovai gróf Csekonics Margitot (1848–1936), Csekonics János gróf leányát, két gyermekük született:
gróf Károlyi György Leó Károly István (1871–1954); felesége: Frank Barbara (1873–1954)