Suvun varhaisimpana jäsenenä pidetään Peter Schäfferiä (k. noin 1674), joka toimi Turun läänin jalkaväenrykmentissälähde?. Hänen poikansa Johan Jakob Schæffer aateloitiin vuonna 1717 nimellä Ehrensvärd. Suku introdusoitiin Ruotsin ritarihuoneeseen vuonna 1719 kreivillisenä sukuna numerolla 113 ja vuonna 1778 vapaaherrallisena sukuna numerolla 267.[2]