På den 500 meter lange øya med sine 85 000 m² ligger også det eldste fyrtårnet på USAs vestkyst.
Det var den spanske forskeren Juan Manuel de Ayala som i 1775 seilte inn i San Francisco-bukta og ga alle øyene han fant der sine navn. Navnet Alcatraz er egentlig avledet av Isla de los Alcatraces "Pelikanenes øy". Den gang hekket mange pelikaner på øya.
I 1847 kjøpte den amerikanske militærguvernøren John Charles Fremont i California på vegne av USA øya for 5 000 dollar fra meksikanerne, og bebygde den i 1854 (ble fullstendig ombygd fra grunnen av i 1909). Militæret tok øya i bruk som "Fort Alcatraz" i 1859. De brakte krigsfanger dit fra 1861, her ble sørstatssoldater og mannskap fra et erobret handelsskip fra sørstatene internert under den amerikanske borgerkrigen. I 1903 var fengselet så forfallent at det måtte stenges. Planleggingen av et nytt hus begynte i 1906, men det store jordskjelvet i San Francisco samme år førte til at byggingen dro ut i tid, og stod ikke ferdig før i 1911.
Fortet ble nedlagt i 1933. Da begynte den endelige ombyggingen til en straffeanstalt, og den 1. januar1934 ble Alcatraz omgjort til føderalt fengsel. Det som gjorde det særs velegnet var det iskalde vannet og de lumske strømforholdene. Dermed ble The Rock et ideelt sted for folk det var knyttet stor rømningsfare til. Alcatraz var i funksjon som høysikkerhetsfengsel fram til 1963. Blant berømte innsatte var Al Capone (1934–39), Robert Stroud (1942–59), Machine Gun Kelly (1934–51) og Alvin Karpis (1936–62).
I løpet av de 29 årene Alcatraz var i bruk, var det 36 rømningsforsøk. 15 av dem som prøvde å rømme ble drept under forsøket.
Frank Morris og Anglin-brødrene
De eneste innsatte som rømte fra Alcatraz var Frank Lee Morris og brødrene John og Clarence Anglin. Om natten 11. juni 1962 rømte de fra fengslet og er ikke sett siden. Det er fortsatt uavklart hva som hendte med dem, om de druknet eller klarte å komme seg over til fastlandet. Ingen lik er blitt funnet.
For å komme seg ut, gravde de hull rundt lufteventilen bakerst i cellen for å komme ut til en servicesjakt for kloakkrør og lufting. Derfra klatret de tre etasjer rett opp og igjennom et lufterør til taket av fengslet hvorfra de firte seg ned, klippet hull i gjerdet og padlet i en flåte laget av regnfrakker. Flåten er aldri blitt funnet.
For ikke å vekke mistanke, og for å ha best mulig med tid, lagde de en falsk lufteventil av papp som de satt på plass i hullet etter seg for å hindre at hullet ut fra cellen ble avdekket. De lagde også et dukkehode av toalettpapir, avispapir og sement fra hullet, som de la i sengen, slik at vaktene ikke skulle få noe mistanke før morgenen etter.
Fengselet ble stengt den 21. mars1963 grunnet forfall og høye vedlikeholdskostnader.
Det er nå et fengselsmuseum som anløpes av passasjerbåt flere ganger om dagen.