Silver je odrastao u Saut Orandžu, Nju Džerzi, a srednju školu završio u Mejplvudu, Nju Džerzi gde je potpisan kao jedan od onih koji su izmislili sport ultimejt frizbi.[1] Godine 1970. upisao je koledž Lafajet (Lafayette College), gde je osnovao prvi fakultetski tim u ovom sportu. Postdiplomske studije završio je na Tišovoj umetničkoj školi (Tisch School of the Arts) Njujorškog univerziteta.