L'Olympiakos Syndesmos Filathlōn Peiraiōs nasce nel 1930. Durante i primi anni di attività prende parte alle competizioni locali, vincendo due campionati del Pireo nel 1933 e nel 1934. In seguito il club si scioglie, per poi essere riorganizzato nuovamente nel 1947, per poi vincere nuovamente il campionato dell'anno successivo. Dopo essere stata sciolta nuovamente, la società rinasce nel 1988. Dopo alcune stagioni nelle categorie minori, nel 1995 esordisce nell'A1 League, il massimo campionato greco; dopo sole quattro stagioni arriva la retrocessione in serie cadetta nel 1999.
Nel 2006 il club torna in massima serie ed inizia il forte dualismo col Panathinaikos: i due club si scontrano per quattro volte in finale di campionato, dove però l'Olympiakos esce sempre sconfitto; nella stagione 2010-11 il girone finale si conclude ancora una volta col Panathinaikos che precede le bianco-rosse. Dopo aver perso la finale dell'edizione 2009-10 della Coppa di Grecia, l'Olympiakos si aggiudica le due edizioni successive, battendo in finale prima l'AEK Atene e poi il Panathinaikos. Nella stagione 2011-12 il club si piazza nuovamente al secondo posto il campionato, questa volta alle spalle dell'AEK Atene; nella stagione successiva invece realizza una doppietta di vittorie, aggiudicandosi scudetto e coppa nazionale.