La voie est notamment indiquée sur le plan de Roussel datant de 1730. Elle fait ensuite partie de la route départementale 47. Située sur l'ancienne commune de Bercy, elle se composait de deux sections :
rue de la Grange-aux-Merciers au sud de la rue de Charenton jusqu'à la Seine. Cette voie était l’axe principal du fief de la Grange-aux-Merciers. Le fief a été annexé, en 1624 au fief de Bercy [2].
En 1860, la commune de Bercy est rattachée en grande partie à Paris. Les deux voies sont classées dans la voirie parisienne en 1863 et réunies en 1865 sous le nom de « rue Nicolaï ». La rue est prolongée au nord de la rue des Meuniers, jusqu'au fond de l'actuelle impasse, à l'occasion de l'ouverture de la rue de Wattignies en 1866.
La rue allait à l'origine jusqu'à la Seine et passait sous les voies ferrées au départ de la gare de Paris-Lyon de l'ouverture de la ligne en 1849 à 1880 mais le tronçon au sud de cette voie ferrée a été compris dans l'extension des entrepôts de Bercy. Le passage sous la voie ferrée a été ensuite été supprimé et son tronçon sud-ouest est devenu la Cour Nicolaï, rue particulière à l'intérieur de ces entrepôts[3]. Son emplacement est celui de l'actuelle avenue des Terroirs de France.
Bâtiments remarquables et lieux de mémoire
Cette section est vide, insuffisamment détaillée ou incomplète. Votre aide est la bienvenue ! Comment faire ?