Varhaisvuodet Gould vietti isänsä maatilalla. 14-vuotiaana hän kirjoittautui Hobart Academyyn, New Yorkiin, ja hoiti kylän sepän kirjanpitoa. Lyhyen aikaa hän työskenteli isänsä palveluksessa rautakaupassa. Hän kiinnostui matematiikasta ja maanmittauksesta, ja koulun lopetettuaan hän työskenteli Ulsterin piirikunnan kartoituksen parissa. Työn tarkkuus herätti John Delafieldin huomion, ja hän pyysi New Yorkin lainsäädäntöelimeltä avustusta koko osavaltion topografisen kartoituksen loppuunsaattamiseksi Gouldin tekemänä. Delafield kuoli ennen kuin mitään merkittävää edistystä saavutettiin, ja Gould ryhtyi suorittamaan maanmittauksia ilman tukea. Kesän 1853 aikana hän sai valmiiksi Albanyn piirikunnan kartoituksen ja kartoitti Cohoesin kylän. Seuraavana vuonna hän teki Delawaren piirikunnan kartoituksen ja kartan sekä järjesti ja lähetti tutkimusryhmiä kartoittamaan Laken ja Geaugan piirikuntia Ohiossa sekä Oaklandin piirikuntaaMichiganissa. Näistä kartoituksista hän tienasi 5 000 dollaria.[1][2]
Hän julkaisi History of Delaware County -teoksen (1856) ja sairastui lavantautiin suunnitellessaan uusia maanmittauksia. Toivuttuaan hän tutustui Zadock Prattiin, joka lähetti hänet osavaltion länsiosaan etsimään paikkaa nahkatehtaalle. Hän pystytti sahalaitoksen ja takomon, ja pian hän teki Prattin kanssa suuria puutavarakauppoja. Myöhemmin hän osti Prattin osuuden ja johti yritystä yksin, kunnes juuri ennen vuoden 1857 talouskriisiä hän myi tuotantolaitoksensa. Vuonna 1857 hänestä tuli Stroudsburgin pankin johtaja ja suurin osakkeenomistaja. Pian kriisin jälkeen hän osti Rutlandin ja Washingtonin rautatien obligaatioita, luopui kaikista muista kiinnostuksen kohteista ja sijoitti kaikki rahansa rautateiden arvopapereihin. Hän toimi pitkään tämän yhtiön johtajana. Hän sai aikaan Rensselaer- ja Saratoga Roadin yhdistämisen, ja sen tuottamilla tuloilla hän muutti New York Cityyn vuonna 1859, vakiinnutti asemansa rautatieosakkeiden meklarina ja sijoitti suuria summia Erie Railroadin osakkeisiin.[1][2]
Hän liittyi Erie-yhtiön johtokuntaan ja hänestä tuli sen puheenjohtaja. Gouldin hallinnoiman rautatien johtaminen ja erityisesti valheellisen osakekannan myynti vuosina 1868-1870 johtivat englantilaisten sijoittajien aloittamiin oikeudenkäynteihin, ja Gould joutui maaliskuussa 1872 eroamaan yhtiöstä ja palauttamaan arvopapereita. Liikekumppani William M. Tweed lahjoi yhtiölle suotuisan lainsäädännön Albanyssa. Liikekumppani James Fiskin kanssa Gould alkoi elokuussa 1869 ostaa kultaa tavoitteenaan ottaa markkina haltuunsa. Hänen toiveensa oli, että kullan hinnan nousun myötä vehnän hinta nousisi niin korkeaksi, että läntiset maanviljelijät myisivät, minkä seurauksena viljaa siirtyisi paljon lännestä itään, mikä lisäisi Erie Roadin rahtiliikennettä. Hänen kultakeinottelunsa, jonka aikana hän yritti Ulysses S. Grantin lankomiehen A. H. Corbinin välityksellä vaikuttaa presidenttiin ja hänen sihteeriinsä kenraali Horace Porteriin, huipentui mustan perjantain paniikkiin 24. syyskuuta 1869, jolloin kullan hinta putosi jyrkästi.[1][2]