Lemming vinse ben sette medaglie olimpiche in quattro differenti edizioni. La prima edizione dei Giochi a cui partecipò fu quella di Parigi 1900, in cui non ottenne alcuna medaglia pur avendo disputato sei diverse gare
In seguito, prese parte ai Giochi olimpici intermedi del 1906 tenutisi di Atene, i più fortunati per lui dato che gli fruttarono ben quattro medaglie: l'oro nel lancio del giavellotto e il bronzo nel getto del peso, nel pentathlon e nel tiro alla fune.
Due anni dopo, vinse due medaglie d'oro ai Giochi di Londra 1908, entrambe conquistate nel giavellotto. Gli ultimi Giochi a cui partecipò furono quelle svedesi di Stoccolma 1912 dove vinse la medaglia d'oro, sempre nella gara di giavellotto.
