Han er oldebarn af oliemagnaten John D. Rockefeller og nevø af tidligere vicepræsident Nelson Rockefeller, og den eneste demokraten i en traditionel republikansk familie.
Han var guvernør i West Virginia fra 1977 frem til han blev senator.
Jay Rockefeller ejer og bor i Washington D.C.'s største private hjem på adressen 2121 Park Road NW. Huset er på knap 2.000 kvadratmeter og ligger på en 64.000 kvadratmeter grund i kvarteret Crestwood, nord for centrum.