Джеймс Джозеф Сильвестр народився в Лондоні, в заможній багатодітній єврейській родині Абрахама і Міріам Джозеф. Абрахам Джозеф був годинникарем, майстром в роботі зі сріблом, торговцем. До народження Джеймса, в сім'ї Абрахама і Міріам, було дев'ять дітей, таким чином він виявився десятим. Джеймс мав чотирьох сестер і п'ять братів — у віці від вісімнадцяти до двох років. Джеймс прийняв прізвище Сильвестр, після того, як це зробили його брати. Це сталося після еміграції в США — країну, яка зобов'язувала всіх емігрантів, в той час, мати прізвище, ім'я, та ім'я по-батькові.
В 1841 році він отримав ступінь бакалавра і магістра в Триніті-коледжі в Дубліні. В цьому ж році він переїхав в США щоб стати професором в університеті Вірджинії, але невдовзі повернувся в Англію.
20 листопада 1843 Сильвестр вирушив у плавання з США назад в Англію.
Сильвестр випробував невдачі у своїй спробі бути математиком в США і повернувся до Лондона. За останні два роки у нього не з'явилося жодної нової математичної статті, не було в нього тепер і шансів отримати місце професора.
У середині вересня 1855лорд Пенмар, секретар нового ліберального уряду Англії з військових питань, призначив Сильвестра професором математики у Військової академії у Вуліджі, південно-східному районі Лондона.
Згідно з положенням про роботу у Військовій академії, як з'ясувалося, Сильвестр повинен був піти у відставку в 55 років, в 1870 році. При цьому академія відмовлялася виплачувати йому повну пенсію і поступилася лише після тривалих публічних дебатів, виступів Сильвестра в столичній газеті «Таймс».
У 1875 році в американському місті Балтіморі був створений новий університет імені Джонса Гопкінса. Через 30 років Сильвестр знову приїхав до Америки — і офіційно вступив на посаду професора математики університету.
В 1877 році Сильвестр знову переїхав в Америку щоби стати першим професором математики в новому університеті Джона Гопкінса в Балтиморі. Його платня становила 5000 доларів, і він забажав, щоб її виплачували золотом.
В 1883 році повернувся в Англію, щоб очолити кафедру геометрії в Оксфордському університеті. Керував нею до самої смерті, хоча в 1892 році університет назначив йому заступника.
26 лютого 1897 Сильвестра розбив параліч, і вранці 15 березня він тихо помер. Чотири дні потому його поховали біля Західної Лондонської Синагоги.
.svg){kind=small}
