Jarvis lebte in Leicester und arbeitete dort als Anstreicher. Er war Mitglied des Leicester Swimming Club. Als Schwimmer verfügte er über ein außergewöhnliches Talent. Zwar war er Spezialist im Langstreckenschwimmen, was ihn jedoch nicht davon abhielt, auch im Wasserball und selbst im Wasserspringen aktiv zu sein, und dies durchaus erfolgreich. Außerdem beschäftigte er sich permanent mit der Verbesserung der Schwimmstile und war engagiert in der Wasserrettung.
Bei den Olympischen Spielen 1900 in Paris wurde er Olympiasieger über 1000 m und 4000 m. Jarvis war auch für die britische Mannschaft im Wasserball gemeldet, welche die Goldmedaille gewann. Es ist nicht gesichert, ob er auch tatsächlich zum Einsatz kam, zumal er nicht Mitglied des teilnehmenden Teams vom Osborne Swimming Club Manchester war. In den offiziellen Siegerlisten des IOCs wird er deshalb nicht als Medaillengewinner im Wasserball geführt, sondern lediglich mit seinen zwei gewonnenen Goldmedaillen im Schwimmen.
Jarvis bevorzugte bei den Spielen noch das Seitenschwimmen. Zwei Jahre später fügte er diesem Schwimmstil einen Hand-Überschlag hinzu und entwickelte mit dem britischen ProfischwimmerJoey Nuttall einen speziellen Beinschlag, den Jarvis-Nuttall-Kick. Mit diesem Stil gewann er 1902 in Berlin den Kaiserpreis. Er durfte die Trophäe jedoch nicht in sein Heimatland England mitnehmen und erhielt stattdessen eine Fotografie.
Die hohen Reisekosten zu den Olympischen Sommerspielen 1904 in St. Louis waren ein Grund, warum für das Vereinigte Königreich seinerzeit nur 3 Leichtathleten an den Start gingen. Jarvis gehörte seinerzeit noch immer zu den weltbesten Schwimmern, und zweifellos wurden ihm dadurch die Chancen für weitere olympische Erfolge genommen.
Bei den Olympischen Zwischenspielen 1906 in Athen war er wieder dabei. Im Wettbewerb über eine Meile wurde er Zweiter (Silber) hinter seinem Landsmann Henry Taylor, und über 400 m belegte er den dritten Platz (Bronze). Mit der britischen Mannschaft erreichte er beim Staffelwettbewerb über 4 × 250 m eine weitere Bronzemedaille.
Jarvis gewann in seiner Karriere 108 Meistertitel, viele von ihnen trugen den Namen Weltmeister, doch handelte es sich seinerzeit bei den verschiedenen Veranstaltungen nicht um offizielle Titelkämpfe in der heutigen Form. 28 britische Meistertitel konnte er erringen, darunter im Jahr 1904 auch einen Titel im Wasserspringen. Er hielt mehrere Weltrekorde, auch wenn diese in der damaligen Zeit noch keinen offiziellen Status besaßen. Auch skurrile Bestleistungen hatte Jarvis zu bieten, so gewann er 1904 die nationalen Meisterschaften im Kopfweitsprung mit 22,98 m. Bei dieser Disziplin musste man nach einem Hechtsprung möglichst lange ohne Schwimmzüge unter Wasser bleiben. Nach einer Minute oder bei einem bereits früheren Auftauchen wurde die Entfernung gemessen. Diese seinerzeit beliebte Disziplin, die 1904 bei den Olympischen Spielen ausgetragen wurde, fand offiziell vom IOC jedoch keine Anerkennung.
Nachdem er sich vom aktiven Sport zurückgezogen hatte, wurde er zum Theoretiker und erhielt den Beinamen Professor Jarvis. Schon 1902 hatte er sich in seinem Buch The Art of Swimming mit der Theorie der verschiedenen Schwimmstile auseinandergesetzt. Auch für die Wasserrettung setzte er sich aktiv und als Ausbilder ein. Selbst im Ausland, anlässlich diverser Schwimmwettkämpfe, unterrichtete er verschiedene Techniken der Wasserrettung.
