Han blev født i Kentucky og indledede sin karriere som advokat i Covington. Han indledede sin politiske karriere i delstatens lovgivningsmæssige forsamling Kentucky General Assembly. Han var viceguvernør i Kentucky 1871-1875 og medlem af Repræsentanternes hus1877-1889, som formand 1883-1889.
Som en ledende Bourbon Democrat forekom hans navn ofte i præsidentspekulationerne. Han tabte kampen om præsidentkandidatur i 1880 og 1884, den første gang mod Winfield Scott Hancock og anden gang mod Grover Cleveland.
Carlisle blev i 1890 udnævnt til USA's senat da senator James B. Beck døde. Han takkede nej, da hans navn igen blev fremhævet som en mulig præsidentkandidat i 1892. Han forlod senatet det følgende år, da præsident Cleveland udnævnte ham til USA's finansminister.
Carlisles tid som finansminister var præget af den værste økonomiske krise i landets historie indtil da (Panic of 1893). Hans synspunkter mod sølv og mod nedsættelse af takster kostede støtte blandt demokrater og Carlisles politiske karriere kom til sin slutningen efter perioden som finansminister. Han var modstander af William Jennings Bryan, demokraternes præsidentkandidat i 1896. Carlisle støttede i stedet udbryderpartiet National Democratic Party og deres præsidentkandidat John M. Palmer, som til modsætning af Bryan var en stærk fortaler for guldstandarden.
Efter tiden som finansminister flyttede Carlisle til New York, hvor han arbejdede som advokat frem til sin død.