Foster blev født i Tiffin, men voksede op i den vestlige del af Seneca County i landsbyen Rome. Denne by blev slået sammen med nabobyen Risdon i 1854 under navnet Fostoria til ære for Foster, som blev valgt til den nye bys første borgmester. I 1870 blev Foster valgt ind i Repræsentantenes hus, hvor han gjorde tjeneste mellem 1871 til 1879. Han tabte omvalget i 1878, men blev valgt som guvernør i Ohio i 1880, en position han havde gennem to terminer til 1884.
I 1891 blev Foster udnævnt til finansminister af Benjamin Harrison efter at hans forgænger William Windom var afgået ved døden. Han forblev i denne stilling frem til slutningen af Harrisons periode var ovre før han selv gik af. Charles Foster døde den 9. januar1904 i Springfield og blev begravet i sin hjemby Fostoria.
