從1910年代到1920年代,卡斯楚街被稱為「小斯堪地那維亞」,當時有大量來自瑞典、挪威、芬蘭的移民及後裔定居在此地。一間位於市場街(英语:Market Street (San Francisco, California))Flore咖啡店後方的芬蘭式澡堂(Finilla's)就是在這段期建造間,並一直經營到1986年。而位於卡斯楚街凹地的餐廳過去被稱為是挪威人的海灣。而斯堪地那維亞海員聯盟是在第十五街及市場街附近,圍繞著轉角處的瑞典美國人會堂至今仍然在該區。以斯堪地那維亞風格「half-timber」所建築的房屋至今仍然可以在卡斯楚街和教堂街之間的市場街沿途看見。Kathryn Forbes(英语:Kathryn Forbes) 在她1943年出版的小說《媽媽的銀行帳戶》(Mama's bank account)中以挪威移民家庭為主題講述了溫馨有愛的一家在20世紀初的舊金山的生活故事。
根據2005年摩根·史柏路克在自己的電視節目《30天》中在卡斯楚街所拍攝的紀錄影片《Straight Man in a Gay World》表示,美國軍方在二戰結束之後,將大批因為性向理由而被除役的同性戀士兵集中往舊金山,之中許多的人被安頓的卡斯楚街,而這也開始吸引更多同性戀居民往卡斯楚街及周圍地區居住。
卡斯楚街在這時代開始成為同性戀運動的中心,是伴隨著1967年一場發生在鄰近的海特-阿什伯力區的爭議性活動「Summer of Love」。這場活動聚集吸引了數以萬計從美國各地前來,出身中產階級家庭的青年人。周遭的居民早先是以歐瑞卡谷為名來稱呼當地,不過在鄰近卡斯楚街和市場街的轉角處的卡斯特罗剧院得名後,當地變成以卡斯楚街為名。
根據美國2000年的統計調查,卡斯楚街共有30574位居民,人口密度是每平方公里8711人,郵遞區號是94114,該區號同時也包括了卡斯楚街及隔壁的Noe Valley。[5] 2000年11月,Noe Valley Voice reported the following statistics for city District 8, which includes Noe Valley、Diamond Heights、 Glen Park、Twin Peaks、Corona Heights、Duboce/Reverse Triangle以及卡斯楚街/Dolores Heights。 The paper cited a 1999 poll of registered voters by David Binder Research, a prominent local polling agency.[6][7]