1828 gründeten die Sklavenhändler Isaac Franklin und John Armfield darin ein Geschäft, welches als eines der größten und erfolgreichsten Sklavenhandelsunternehmen der damaligen Zeit galt[1]. Während der geschäftlich erfolgreichsten Zeiten in den 1830er-Jahren wurden jährlich zwischen 1.000 und 1.200 Sklaven verkauft und von Alexandria (Virginia) unter anderem nach New Orleans transportiert[2]. 1836 wurde das Gebäude an einen anderen Sklavenhändler verkauft. Von 1858 bis zur Besetzung Alexandrias durch Unionstruppen im Amerikanischen Bürgerkrieg 1861 saß hier die Sklavenhandelsfirma Price, Birch & Co. Danach diente das Gebäude als Gefängnis für gefangene Soldaten der Konföderierten Staaten und von 1878 bis 1885 als Krankenhaus. Im Juni 1978 wurde das Franklin and Armfield Office als Gebäude in das National Register of Historic Places aufgenommen und erhielt den Status eines National Historic Landmark zuerkannt, womit es eine von 121 Stätten dieser Art in Virginia ist.[3]