Особняк был построен в начале XIX века. Среди его обитателей — вице-президент Дж. К. Кэлхун. В 1920 году приобретён четой Блиссов, принадлежавшей к влиятельным кругам американской дипломатии. В 1944 году в поместье проходила международная конференция, подготовившая создание ООН.
Под руководством Блиссов старинная усадьба преобразилась. К реконструкции особняка были привлечены такие ведущие архитекторы, как Филип Джонсон. Парк в Дамбартон-Оуксе, заново распланированный трудами Беатрис Фарранд, считается одной из вех в новейшей истории ландшафтной архитектуры. В гостях у Блиссов бывали многие незаурядные личности. К 30-летней годовщине (1938) брака Блиссов И. Ф. Стравинский написал камерный концерт в духе Бранденбургских концертов.
Основными сферами интересов Блиссов как коллекционеров были византийское искусство и доколумбовы цивилизации. Их собрание византийского искусства — одно из богатейших в США. С подачи владельцев усадьбы Думбартон-Окс стал центром мировой византинистики. Здесь жили и работали такие авторитетные учёные, как Эрнст Китцингер, А. А. Васильев и А. П. Каждан.
При центре медиевистики с 1941 года выходит научный журнал Dumbarton Oaks Papers.