San Rafael ist an der Stelle der Mission San Rafael Arcángel entstanden, die 1817 von einem spanischen Priester gegründet worden war.
1890 wurde in San Rafael das Dominican College gegründet, eine römisch-katholische Bildungseinrichtung, die von Dominikanerinnen geführt wurde und zunächst nur Studentinnen vorbehalten war. Es ist eine der ältesten Einrichtungen für höhere Bildung in Kalifornien. 1971 wurde die Koedukation eingeführt und im Jahr 2000 wurde das College zur Dominican University of California.
Söhne und Töchter der Stadt
William Fechteler (1896–1967), Admiral und Chef der Marineoperationen