Fitzwilliam College on yksi Cambridgen yliopiston 31 collegesta. Fitzwilliam Collegen juuret ovat college-järjestelmän ulkopuolisessa instituutiossa, joka aloitti toimintansa vuonna 1869 Trumpington Streetillä Fitzwilliam-museota vastapäätä sijaitsevassa talossa. Tämä instituutio järjesti opetusta niille opiskelijoille, joilla ei ollut varaa opiskella jonkin collegen alaisuudessa. 1900-luvun jälkipuoliskolla tarve tällaiselle instituutiolle väheni, sillä Cambridgen yliopistoon oli luotu erilaisia stipendijärjestelyjä, jotka mahdollistivat myös vähävaraisten opiskelijoiden pääsyn college-järjestelmän piiriin. Nimellä Fitzwilliam House tunnettu instituutio sai kuninkaallisen erioikeuden ja muutti nimensä Fitzwilliam Collegeksi vuonna 1966.[3]
College rakennettiin 1960-luvulla Storey's Wayn varteen. Ensimmäiset opiskelijoiden rakennukset suunnitteli Sir Denys Lasdun ja ne valmistuivat vuonna 1966. Collegen kappelin on suunnitellut Sir Richard MacCormac. Gatehouse-pihan ja auditorion on suunnitellut arkkitehtitoimisto Allies and Morrison. Uusi kirjasto ja tietotekniikkakeskus ovat Edward Cullinan Architects -arkkitehtitoimiston suunnittelemat ja ne avataan 2010.[3] Collegen keskellä sijaitsee The Grove, vuonna 1813 valmistunut William Custancen suunnittelema rakennus, joka on nykyisin suojeltu. Emma Darwin asui tässä talossa 1883–1896 miehensä Charles Darwinin kuoleman jälkeen. Rakennus liitettiin osaksi Fitzwilliam Collegea vuonna 1988.[4]