באולימפיאדת אתונה (1906)[1] זכה שיף במדליית זהב במשחה ל-400 מטר חופשי בתוצאה של 6:24.0 דקות, לפני הנרי טיילור (6:26.0 דקות) וג'ון ג'רוויס שניהם מבריטניה ובמדליית ארד במשחה ל-1 מייל בתוצאה של 30:53.4 דקות, אחרי טיילור (28:28.0 דקות) וג'רוויס (30:07.6 דקות). בנוסף, הוא השתתף במשחה שליחים 4x250 מטר חופשי, אך נבחרתו לא סיימה את המשחה ודורגה במקום שישי.
באולימפיאדת לונדון (1908) זכה שיף במדליית ארד במשחה ל-400 מטר חופשי בתוצאה של 5:46.0 דקות, אחרי טיילור שקבע שיא עולם חדש של 5:36.8 דקות ופרנק בוריפר מאוסטרלאסיה (5:44.2 דקות). בשלב חצי הגמר הוא קבע שיא אולימפי חדש של 5:40.6 דקות. בנוסף, הוא סיים במקום רביעי במשחה ל-1500 מטר חופשי אך לא סיים אותו, בשלב המוקדמות הוא קבע תוצאה של 24:15.8 דקות וכן סיים במקום שמיני במשחה ל-100 מטר חופשי ולא עלה לשלב הגמר, בשלב המוקדמות הוא קבע תוצאה של 1:11.4 דקות.
שיאן עולם
קברו של אוטו שיף
בתחרות שחייה שנערכה בווינה ב-11 בנובמבר אותה שנה קבע שיף במשחה ל-200 מטר חופשי שיא עולם חדש של 2:31.6 דקות. כמו כן, הוא שיפר את שיא העולם במשחה ל-1000 מטר חופשי שיא שהחזיק מעמד 4 שנים.
^אולימפיאדת אתונה שנערכה בשנת 1906, נחשבה באותו הזמן, כאולימפיאדה הרביעית לכל דבר והשנייה שנערכה באתונה. היה זה אירוע חגיגי לציון עשור למשחקים האולימפיים בעידן המודרני. הוועד האולימפי הבינלאומי הכיר בה אך אינו מחשיב אותה כיום במניין האולימפיאדות. למרות שמדליות הוענקו בה הן לא ניספרות במניין המדליות הרשמי של המשחקים האולימפיים ואינן מוצגות עם אוסף המדליות במוזיאון האולימפי בלוזאן, שווייץ.
