Han var sønn av godseier Peter Collett (1740–86) og Maren Kirstine Holmboe (1745–68). Han ble gift i 1794 med Eilertine Severine Bendeke (1777–1857), datter av sogneprest Peter Bendeke (1712–99) og Wilhelmine Elisabeth Sophie von Lowzow (1746–1815).
Han eide Økern gård i Aker fra 1794 til 1814, og overtok Buskerud hovedgård i 1800 fra stemoren Johanna Henricha f. Ancher. Samtidig med at han virket som dommer drev han en omfattende forretningsdrift, en kombinasjon av embede og forretningsliv som ikke var uvanlig i gamle dager. Han kjøpte Hassel Jernværk i 1809, som var en god inntektskilde frem til krisen fra slutten av 1820-årene; enken overførte dette forgjeldede verket til eierne av Blaafarveværket (Benjamin Wegner og baron W.C. Benecke) etter hans død mot at de overtok gjelden. Han førte også en rekke private rettssaker om små og store ting, samtidig som han selv var høyesterettsdommer.
Han hadde en omfattende boksamling, som for størstedelen ble testamentert til Universitetsbiblioteket. Han var opptatt av folkeopplysning, og var medstifter av Selskabet for Norges Vel i 1809. Han anla bl.a. parkanlegg i romantisk stil på Buskerud.