Das vierstöckige, um 1806 im Federal Style errichtete Gebäude ist architektonisch wenig bedeutsam[1], jedoch eng mit seinem langjährigen Eigentümer und Namensgeber Charles Sumner verbunden, der eine zentrale Rolle in der amerikanischen Politik sowohl vor als auch nach dem Sezessionskrieg spielte. Er war bekannt für seine unbeherrschten Reden und der prominenteste politische Gegner der Sklaverei. Sumner unterstützte 1848 die Gründung der Free Soil Party und wurde 1851 unter ihrer Flagge in den Senat der Vereinigten Staaten gewählt. Mit diesem Schritt stellte er die Opposition gegen die Sklaverei auf ein neues politisches Fundament. Mit seinen oftmals beleidigenden Äußerungen machte er sich jedoch auch Feinde, was darin gipfelte, dass er am 22. Mai 1856 in den Räumlichkeiten des Senats vom demokratischen Kongressabgeordneten Preston Brooks mit einem Gehstock angegriffen und schwer verletzt wurde. Dies war eines von mehreren Schlüsselereignissen, das wie der Überfall auf Harpers Ferry die Nation emotional polarisierte und die Unausweichlichkeit des Bürgerkriegs verstärkte. Nach dem Krieg setzte er sich insbesondere während der Reconstruction für die Rechte befreiter Sklaven ein und war am Amtsenthebungsverfahren gegen Andrew Johnson beteiligt.[2]
