Ved legene i 1908 deltog Olivier i alle tre våbentyper. Fleuret var ved legene med som demonstrationssport, og der blev ikke registreret resultater i klassen. I sabel var han med på det italienske hold, der først vandt over Storbritannien og derpå i semifinalen tabte til Ungarn, der siden vandt finalen. Italien og Tyskland, som tidligere havde tabt til mestrene, mødtes i en kamp om andenpladsen, og den vandt Italien med 10-4, så holdet vandt dermed sølv. De øvrige på Italiens sølvhold var Marcello Bertinetti, Sante Ceccherini, Alessandro Pirzio Biroli og Riccardo Nowak.[1] Ved samme lege deltog Olivier også på det italienske hold i kårde, der endte på en fjerdeplads.[2]
Tolv år senere, ved OL 1920 stillede Olivier op i kårde og fleuret, begge både individuelt og på hold. Individuelt blev han nummer ni i fleuret og nummer seks i kårde.[2] Det italienske fleurethold vandt deres indledende pulje med sejre i alle fire matcher, og det samme gjorde sig gældende i finalerunden, hvor Frankrig blev nummer to og USA nummer tre.[3] Kårdeholdet blev kun nummer tre i indledende pulje efter tab til Portugal og uafgjort mod Sverige. I finalen var de dog sikre og vandt alle fem matcher, mens Belgien blev nummer to og Frankrig nummer tre.[4]
