Die Stadt befindet sich auf dem Gebiet der am 17. Januar 1725 gegründeten Penacook Plantage. Am 9. Februar 1734 wurde die Stadt Rumford konstituiert, nach deren Namen Benjamin Thompson, der dort gelebt hatte, seinen Grafentitel „Graf von Rumford“ wählte. Nach langjährigem, bitterem Streit mit der Nachbargemeinde Bow über die Gemeindegrenzen, bei der Bow zwei Drittel seines Gebiets verlor, wurde die Stadt 1765 vom Kolonialgouverneur Benning Wentworth in Concord (Eintracht) umbenannt.
Wirtschaftlicher Aufschwung folgte als der Middlesex Canal 1807 die Stadt mit dem Hafen von Boston verband. 1808 wurde Concord Hauptstadt, und das 1819 vollendete State House ist das älteste Kapitol der Vereinigten Staaten in dem sich die Legislative noch in ihren ursprünglichen Sitzungssälen trifft.
Die Stadt wurde bekannt durch ihre Granitsteinbrüche, feine Möbelherstellung, und ganz besonders die fast unverwüstliche Concord Stagecoach, mit ihrem aus vielen Filmen und Fernsehsendungen sofort erkennbaren Profil, die vor allem auf den schlechten Straßen des Westens ihren Einsatz als Post- und Passagierkutsche fand.