Il est le fils de parents expatriés à Paris. Son père, Albert Herter, est artiste peintre, fils d'un décorateur d'intérieur et créateur de mobilier des années 1860-90. Sa mère, Adele McGinnis, est fille d'un banquier américain. Il étudie à l'École alsacienne (1901-1904) avant de déménager à New York.