באולימפיאדת פריז (1900) זכה הלמיי ב-3 מדליות, 2 כסף ו-1 ארד. מדליות כסף במשחה ל-200 מטר חופשי בתוצאה של 2:31.4 דקות, אחרי פרדריק ליין מאוסטרליה (2:25.2 דקות) ולפני קארל רוברל מאוסטריה (2:32.0 דקות) ובמשחה ל-4000 מטר חופשי בתוצאה של 1:08:55.4 שעות, אחרי ג'ון ארתור ג'רוויס מבריטניה (58:24.0 דקות) ולפני לואיס מרטין מצרפת (1:13:08.4 שעות) ומדליית ארד במשחה ל-1000 מטר חופשי בתוצאה של 15:16.4 דקות, אחרי ג'רוויס (13:40.2 דקות) ואוטו ואלה מאוסטריה (14:43. דקות).
באולימפיאדת סנט לואיס (1904) זכה הלמיי בשתי מדליות זהב, במשחה ל-100 יארד חופשי בתוצאה של 1:02.8 דקות, לפני צ'ארלס דניאלס וסקוט לירי שניהם מארצות הברית ובמשחה ל-50 יארד חופשי בתוצאה זהה ללירי של 28.2 שניות, אחר כך שחו אחד כנגד השני לקביעת המנצח (swim off), הלמיי (28.0 שניות) ולירי (28.6 שניות) שלישי סיים דניאלס.
בתחרות שחייה שנערכה בווינה בדצמבר 1905 קבע הלמיי במשחה ל-100 מטר חופשי שיא עולם חדש של 1:05.8 דקות.
באולימפיאדת לונדון (1908) זכה הלמיי בשתי מדליות כסף במשחה ל-100 מטר חופשי, בתוצאה של 1:06.2 דקות, אחרי דניאלס שקבע שיא עולם חדש של 1:05.6 דקות, ולפני הרלד יולין משוודיה (1:08.0 דקות) ובמשחה שליחים 4x200 מטר חופשי ביחד עם יוז'ף מונק, אימרה זכר ובלה לאש-טורש בתוצאה של 10:59.0 דקות, אחרי בריטניה (10:55.6 דקות) ולפני ארצות הברית (11:02.8 דקות).
^אולימפיאדת אתונה שנערכה בשנת 1906, נחשבה באותו הזמן, כאולימפיאדה הרביעית לכל דבר והשנייה שנערכה באתונה. היה זה אירוע חגיגי לציון עשור למשחקים האולימפיים בעידן המודרני. הוועד האולימפי הבינלאומי הכיר בה אך אינו מחשיב אותה כיום במניין האולימפיאדות. למרות שמדליות הוענקו בה הן לא נספרות במניין המדליות הרשמי של המשחקים האולימפיים ואינן מוצגות עם אוסף המדליות במוזיאון האולימפי בלוזאן, שווייץ.
.svg){kind=small}
