Gilman groeide op in een gezin van acht kinderen. Hij diende als klerk in het handelshuis van zijn vader en raakte daardoor al snel betrokken bij de problemen die ontstonden door de groeiende kloof tussen de Britse koloniën in Amerika en het moederland. Veel handelaren waren tegen de maatregelen van het Britse parlement waardoor de handel bemoeilijkt werd. Gilmans vader gaf lokaal leiding aan de patriottistische beweging.
Namens zijn gemeenschap werd Gilmans vader in 1775 afgevaardigd naar het Provinciale Congres van New Hampshire. Dit gebeurde kort nadat de eerste vijandigheden uitbraken bij Lexington en Concord. Tijdens de Amerikaanse Onafhankelijkheidsoorlog diende hij als de schatkistbewaarder van de staat. Zelf diende Gilman bij de militie van New Hampshire als assistent van een officier. Het regiment waar hij in diende moest een Britse inval vanuit Canada voorkomen. De Amerikanen verloren een slag bij Fort Ticonderoga en sloegen aanvankelijk op de vlucht. De Britse opmars vertraagde echter en liep uiteindelijk uit op een nederlaag voor de Britten. Gilmans regiment werd vervolgens naar Philadelphia verscheept. De Amerikaanse hoofdstad was in handen van de Britten gevallen. Intussen kwam Gilman ook bekend te staan als iemand met leidinggevende en organiserende kwaliteiten. Binnen het Continental Army bracht hij het tot de rang van kapitein. In het vervolg van de oorlog had hij bijna dagelijks contact met verschillende belangrijke legerleiders, zoals George Washington, Nathanael Greene en Henry Knox. Na de dood van zijn vader in 1783 nam Gilman ontslag uit het leger en keerde terug naar Exeter om zich in te zetten voor het familiebedrijf.
Terug in New Hampshire raakte Gilman ook betrokken bij de politiek. Namens zijn thuisstaat werd hij afgevaardigd naar het Continental Congress. Hij was een warm bepleiter van de aanpassing van de Articles of Confederation. Volgens hem leidde die tot veel bestuurlijke problemen. Bij de Constitutional Convention, waar een nieuwe grondwet werd opgesteld, was Gilman een van de vertegenwoordigers van New Hampshire. Tijdens het ratificatieproces van zijn staat stond hij in nauw contact met zijn broer John die leiding gaf aan het proces.
Nadat hij de politiek in was gegaan veranderden veel van de ideeën van Gilman. Hij was altijd een Federalist en een voorstander van een sterke binding tussen de staten. Toen daar eenmaal sprake van was vreesde hij de macht van de overheid en vond dat de burger daar tegen beschermd moest worden. Hij sloot zich aan bij de Democratisch-Republikeinse Partij en steunde de verkiezing van Thomas Jefferson tot president. Ook werd hij gekozen als een van de eerste leden van het Huis van Afgevaardigden. Daarin had hij acht jaar zitting. Na een mislukte poging verwierf Gilman in 1804 een zetel in de Senaat en groeide uit tot een van de meer invloedrijke leden. Tien jaar later overleed hij.
