I løpet av sitt liv skaffet Andersen seg en verdifull samling av bøker (over 15 000 bind) og håndskrifter, vesentlig av historisk og statistisk innhold, samt en del antikviteter og naturalier. Alt dette skjenket han ved testamente av 21. mars1786 til et eventuelt universitet i Norge, idet det inntil videre skulle oppbevares ved Deichmanske Bibliothek i Christiania. Da utsiktene til et norsk universitet svant hen, og av hensyn til en anerkjent datter og hennes mor, bestemte han imidlertid 15. august1787 at Deichmanske Bibliothek bare skulle overta de bøker biblioteket ikke hadde fra før. Året etter hans død ble det likevel opprettet et norsk universitet, som nå krevde hele samlingen utlevert. Dette ble bifalt av skifteretten i 1812, mens datteren og moren ble tilkjent en pensjon.
