Danach war er wieder in der Landwirtschaft tätig und führte Vermessungsarbeiten bei New Utrecht durch. Darüber hinaus verfasste er literarische und historische Arbeiten. Bergen trat als Leutnant zur See (ensign) in das 241. Regiment der Nationalgarde von New York, besser bekannt als Kings County Troop, ein und stieg im Laufe der Zeit bis zum Colonel auf. Er verstarb am 24. April 1881 in Brooklyn und wurde dann auf dem Green-Wood Cemetery beigesetzt. Sein Großcousin war der Kongressabgeordnete John T. Bergen.