Va créixer a Charleston parlant anglès i Gullah, llengua criolla afro-caribenya de la seva família. Va cursar el batxillerat a Charleston, i va passar dos anys estudiant humanitats clàssiques a la seva universitat. Ho va haver d'interrompre tot per passar tres anys de servei militar durant la Segona Guerra Mundial entre 1943 i 1946. Llavors va ser destinat a la Universitat de Georgetown per participar en un programa d'immersió lingüística en xinès, i després va ser enviat a servir a la Xina, Birmània i l'Índia, en el cos de senyals, període que, segons va sostenir després, li va obrir els ulls i el va introduir en el món adult.
En tornar a casa el 1946, es va matricular a la Universitat Yale, on en 1948 va obtenir un AB en xinès, llatí i castellà i es va graduar summa cum laude . Allà va obtenir també un màster en castellà i francès (1950) i es va doctorar (1952) amb una tesi sobre la vida i obra de Francisco de Aldana, que va publicar amb el títol Francisco de Aldana, el diví capità (1955).[1] Es va especialitzar en lírica del Segle d'Or i va obtenir beques Howard, Guggenheim i Fulbright per investigar a Espanya; va ensenyar a la Universitat de Dartmouth (1952-1962) ia les Universitats Estatal d' Ohio (1962-1964), Johns Hopkins (1964 -1978) i l'Estatal de Nova York a Stony Brook (1978-1993), on es va jubilar.
Va ser un dels més grans experts en la figura i obra de Garcilaso de la Vega.[2] Ha estat fins a la seva mort professor emèrit del Department of Hispanic Languages and Literatures de la SUNY at Stony Brook, New York, membre corresponent de la Hispanic Society of America (Nova York) i de la Acadèmia de Bones Lletres de Barcelona. Des 1989 va ser president d'honor de l'Associació Internacional d'Hispanistes, on anteriorment va exercir diversos càrrecs. En 1992, la Universitat de Salamanca li va atorgar el Premi Nebrija i en 2009 va ser nomenat corresponent de la Reial Acadèmia Espanyola. La seva primera esposa va ser Phyllis Phil Rivers, de la qual va tenir tres fills, i el 1969 es va casar amb la també hispanista Georgina Sabat de Rivers, morta el 2008, amb la qual va criar a quatre fills adoptius. En els seus darrers anys va viure a Coral Gables (Florida), però es va traslladar a Maryland el 2013 per estar més a prop de la seva família i allà va morir.[3]