Das Haus wurde 1835 im Federal Style mit flämischem Mauerwerksverband, zwei Etagen und L-förmigem Grundriss von Charles Down II erbaut. Dieser war ein Unternehmer, dem unter anderem vier Getreidemühlen und mehrere Transportschiffe auf dem Chesapeake and Ohio Canal gehörten. Von 1852 bis 1856 wurde er zudem zum Friedensrichter gewählt.[1]
Charles Downs II House ist fünf Joch breit und drei Joch tief. Rückwärtig ist eine zweistufige Veranda angebaut. Die doppelten Schiebe- und Sprossenfenster haben 6 bzw. 9 Scheiben. Die Erdgeschossfenster der Frontfassade sind mit abgeplätteten Backsteinbögen verziert. Über der Eingangstür sind ein Kämpferfenster mit sieben Scheiben sowie zwei schmale Seitenfenster. Darüber ist ein schlich gehaltener Türsturz aus Holz. Im Haus, das über eine zentrale Halle verfügt, befinden sich sechs Kamine.[1]
Am 17. Mai 1991 wurde Charles Downs II House in das National Register of Historic Places aufgenommen.[2] Neben dem Hauptgebäude gelten eine aus Schalstein gebaute Garage mit Dachgiebel sowie ein Stall in Holzrahmenbauweise aus den 1920er Jahren als Contributing Properties. Charles Downs II House ist als ein klassisches Beispiel für den Federal Style bei ländlichen Wohnhäusern.[1]
