Williams wurde auf dem Areal der Lincoln University in Pennsylvania geboren,[1] die ihr Vater als Dekan leitete.[2] Zunächst begann sie ein Studium an der Lincoln University, wechselte dann aber auf das Oberlin College, wo sie sich in Geschichte spezialisierte.[1] Anschließend graduierte sie mit einem Master in Geschichtswissenschaften von der New York University ab. Daneben studierte sie unter anderem Bibliothekswissenschaften an der Columbia University sowie Germanistik und Französisch in Paris. Danach arbeitete sie zunächst für das Museum of Modern Art, das African-American Institute in Lagos und das Außenministerium der Vereinigten Staaten.[2] Sie spezialisierte sich im Gebiet der afrikanischen Kunst und arbeitete zunächst als Kuratorin im Department of African, Oceanic and New World Cultures des Brooklyn Museums,[3] wo sie eine Dauerausstellung zu afrikanischen Kulturen und mehrere Wanderausstellungen kuratierte.[2]
1983 übernahm Williams die Leitung des National Museum of African Art in Washington, D.C. Während ihrer Amtszeit zog das Museum an die National Mall um, erweiterte sein Depot und präsentierte sowohl historische Ausstellungen als auch Schauen moderner Kunst.[3] Zu dieser Zeit war Williams die einzige afroamerikanische Frau, die ein bedeutendes US-Museum leitete. Zudem war sie die Präsidentin der Association of Art Museum Directors. Als Kunstwissenschaftlerin lehrte sie auch zur afrikanischen Kunstgeschichte, unter anderem an der New York University und als Gastprofessorin an der American University.[2] Mitte Februar 1996 erlitt sie ein Hirnaneurysma und starb trotz einer Notoperation eine Woche später im Alter von 60 Jahren im Krankenhaus der Georgetown University.[3]