Нарадзіўся Фостэр у Пітэрсбургу, але неўзабаве пераехаў разам з бацькамі ў Эвансвіл, штат Індыяна. У 1855 годзе скончыў Індыянскі ўніверсітэт у Блумінгтане. Затым атрымаў адукацыю ў Юрыдычнай школе Гарвардскага ўніверсітэта. Да 1861 года займаўся адвакацкай практыкай у Эвансвіле. Падчас Грамадзянскай вайны ваяваў на баку ЗША ў званні маёра, але пасля ўзяцця форта Донелсан атрымаў палкоўніка. У яго падначаленні знаходзіўся 136-ы пяхотны полк Індыяны.
Пасля вайны уладкаваўся рэдактарам у Evansville Daily. Пад яго кіраўніцтвам гэтае выданне стала асноўным рэспубліканскім выданнем у рэгіёне. З 1873 па 1885 год знаходзіўся на дыпламатычнай службе ў Мексіцы, Расіі і Іспаніі.
У 1885—1892 вёў адвакацкую практыку ў Эвансвіле. 29 чэрвеня 1892 года прэзідэнт Бенджамін Гарысан прызначыў Фостэра Дзяржаўным сакратаром ЗША. На гэтай пасадзе займаўся праблемай Рэспублікі Гаваі. Сышоў у адстаўку 23 лютага 1893 года. Пасля сыходу з федэральнага ўрада Фостэр аднавіў дыпламатычную дзейнасць. У 1895 годзе ён прадстаўляў інтарэсы Кітая на мірных перамовах, якія скончылі Японска-кітайскую вайну. У 1907 годзе таксама прадстаўляў Кітай на Гаагскай канферэнцыі.
Фостэр быў сузаснавальнікам Амерыканскага таварыства міжнароднага права (1906) і Фонду Энрдю Карнегі за мір ва ўсім свеце (1910). Вялікую частку жыцця быў пацыфістам, ў 1917 годзе ўсё ж выступаў за ўступленне ЗША ў Першую сусветную вайну.