Fils de Louis, organiste et sacristain de la collégiale de Chaumont, descendant d'une lignée de laboureurs à Semoutiers et Espilan à Richebourg dans la Haute-Marne et de Marie Thoirey, Gilbert-Jean-Baptiste Dufour naît rue Corgebin (aujourd'hui rue Gilbert-Dufour). Il est baptisé par Mgr de Montmorin de Saint-Hérem, évêque-duc de Langres. Un bénéfice à simple tonsure lui permet de faire d'excellentes études au collège de Chaumont qu'il quittera pour le séminaire de Langres qu'il abandonne au début de la Révolution française pour rejoindre à Bar-le-Duc la maison de commerce de son oncle Henri Gand, dont l'une des filles épousa Pierre-Nicolas-Joseph de Bourguet de Travanet
Lieutenant des grenadiers de la garde nationale de Bar-le-Duc en 1791, il est élu le chef de bataillon des volontaires de Bar. Chef du 7e bataillon à l'armée des Ardennes il est grièvement blessé devant Bouillon le 30 floréal II () et devient adjoint à l'État-major, puis commissaire des guerres. Nommé commissaire des guerres de la garde impériale le , il y devient commissaire ordonnateur le et fait toutes les campagnes de l'Empire avec la Garde (Autriche, Prusse, Pologne, Espagne, Allemagne, Russie, Saxe, France).
Gilbert Dufour épouse à Bar-le-Duc, le , sa cousine, Catherine Reine Robert (1779-1835), petite-fille d'Antoine, seigneur de Jubainville et de l'Aigle, frère de sa grand-mère Thoirey. En sont issus Gustave, 2e baron Dufour (1801-1887) conseiller à la Cour royale de Metz, époux d'Emmeline Jacquinot, grand-père du physicien Alfred Perot ; Adèle (1808-1841), épouse du général Paul-Joseph Ardant ; et Lucile (1812-1831), filleule de Pierre Daru.
Robert Decker, "Un bicentenaire "napoléonien" à Chaumont. le Baron Gilbert Dufour, commissaire ordonnateur de la Garde impériale, Pair de France, Maire de Metz (1769-1842)", Les Cahiers Haut-Marnais, no 101, 1970 p. 64-71
Jacques Perot, "Biographie", in Baron Dufour, Guerre de Russie 1812, Atlantica, 2007 p. 465-481