Im Jahr 1842 siedelte Ollers Familie nach Paris über. Zum Studium ging er wieder zurück nach Spanien an die Universität in Bilbao. Dort waren Hahnenkämpfe populär.
Nach 1850 erwarb er die Wiesen entlang der Seine (das heutige Maisons-Laffitte) von Jacques Laffitte und gestaltete sie zu Pferdelaufbahnen um. 1878 wurden sie in ein Hippodrom umgewandelt. Um 1865 wurde bei den Pferderennen in Frankreich das Totalisator-System eingeführt, als Erfinder wird in vielen Quellen ein Pariser Parfumhändler namens Pierre Oller genannt, der diese Wettart (pari mutuel) einem befreundeten Buchmacher vorgeschlagen haben soll,
andererseits eben Joseph Oller.[1][2]