In de jaren twintig werd het verzamelen van postzegels erg populair en Nassau Street werd het centrum van het "Stamp District" waar vele muntverzamelaars en filatelisten bij elkaar kwamen. Tijdens het verval van de hobby en de verdwijning van de meeste handelaars in de jaren zeventig, een proces dat werd versneld door het internet, verdween het karakter van de straat.
Nassau Street was ook de titel van een boek, geschreven in de jaren zestig, dat het gouden tijdperk van de filatelie-industrie beschreef.