Club Olimpia on perustettu 25. heinäkuuta 1902.[1] Nimi juontuu olympialaisten kotikaupungista Olympiasta. Ensimmäisen mestaruutensa Olimpia saavutti 1912, jolloin myös Olimpian suurin haastaja Cerro Porteño perustettiin.
1950-luku oli Olimpia kulta-aikaa: 1956-1960 Olimpia voitti viidesti peräkkäin maansa mestaruuden. Samoihin aikoihin joukkueen nykyinen kotistadioni Estadio Manuel Ferreira. 1960 Olimpia saavutti myös kansainvälistä menestystä saavuttamalla Copa Libertadoresissa finaalipaikan häviten kuitenkin ottelun Peñarolille.
1970-luvun loppu ja 80-luvun alku oli myös Olimpialle menestyksellistä aikaa. 1978-83 Olimpia voitti kuudesti maansa mestaruuden sekä 1979 Copa Libertadoresin, Copa Interamericanan sekä Intercontinental Cupin.
Seuraavaa kansainvälistä menestystä saatiin odottaa aina vuoteen 1990, jolloin Olimpia voitti Copa Libertadoresin. Samana vuonna joukkue saavutti myös Supercopa Sudamericanan sekä Recopa Sudamericanan voiton. 1990-luvun lopulla Olimpia voitti peräkkäin neljästi maansa mestaruuden.
2000-luvulla joukkue on pystynyt voittamaan Copa Libertadoresin (2002) sekä Recopa Sudamericanan (2003). Olimpia on selviytynyt myös Intercontinental Cupin finaaliin 2002, häviten sen kuitenkin Real Madridille.[2]
