Az ősrégi és tekintélyes vajai és laskodi Vay család sarja. Apja báró vajai és laskodi Vay József (1752–1821), földbirtokos, anyja bocsári Mocsáry Erzsébet (1757–1813) volt. Apai nagyszülei vajai Vay Ábrahám (†1762) és gróf cegei Wass Anna voltak. Anyai nagyszülei bocsári Mocsáry Pál (1734–1767), és szemerei Szemere Johanna voltak.
1810. november 17-én Szőlőske községben vette nőül kazinci Kazinczy Zsófiát (1794–1843), akinek a szülei kazinci Kazinczy Péter (1747–1827), Zemplén vármegyealispánja, aranysarkantyús vitéz, földbirtokos és kiscsoltói Ragályi Zsuzsanna voltak. Az apai nagyszülei kazinci Kazinczy Dániel (1685–1750), földbirtokos és szirmai és szirmabessenyői Szirmay Teréz (1706–1757 k.) voltak. Vay Ábrahám és Kazinczy Zsófia frigyéből tizenkét gyermeke; öt lány és 7 fiú született:
gróf Vay Eulália (1812–1873); 1. férje. nagylónyai és vásárosnaményi Lónyay János (5.5.1828); 2. férje, (div 21.8.1851) gróf körösszegh és adorjáni Csáky Zsigmond (1805–1873); 3. férje, őrgróf Pallavicini Roger (1814–1874)
gróf Vay Péter (1813–1836), katona, Olaszországban párbaj közben halt meg.
gróf Vay József (1815–1865), kitűnő lovas. 1. neje, Szathmáry-Király Zsuzsanna (†1850); 2. neje, losonci Gyürky Alexandra (*1828)
gróf Vay Károly (1816–1854); felesége, nagylónyai és vásárosnaményi Lónyay Ida (1829–1898).
gróf Vay Dániel (1820–1893), korponai országgyűlési követ, Szabolcs vármegyei főispán; neje, báró kissennyei Sennyey Amália (1829–1903)
gróf Vay Mihály (1822–1899), katona, 1861-ben képviselő; felesége, báró luzsnai és reglicei Luzénszky Róza (†1887)
gróf Vay László (1823–1885), katona és a forradalom alatt őrnagy és Bem József segédje, majd máramarosi főispán; felesége, benicei és micsinyei Beniczky Sarolta (1837–1913)
gróf Vay Alojzia, (1824–1849; férje gróf Bolza István (1817–†1880)
gróf Vay Éva (Eveline) Zsófia (1828–1908); férje, baloghvári Czóbel Imre (*Buda 22.1.1819)
gróf Vay Ádám (1830–1900), jeles gazda, Szabolcs vármegye főispánja; felesége, nagylónyai és vásárosnaményi Lónyay Mária (1831–1895)
gróf Vay Ida (1817–1891, férje báró vajai Vay Gyula (1817–1863)
gróf Vay Erzsébet (1814–1865); férje, losonci Gyürky Pál (†16.10.1859)