ב-1920, הפך אדסטרם לחבר בוועד האולימפי הבינלאומי, ואחרי שהחזיק במספר משרות מפתח, הפך לסגן-נשיא הוועד ב-1931. אחרי מותו של אנרי דה באיה-לאטור ב-1942, התמנה אדסטרם לנשיא בפועל של הוועד האולימפי הבינלאומי, ועם סיום מלחמת העולם השנייה הפך לנשיא הרשמי של הוועד. מתוקף תפקידו, הייתה לאדסטרם תרומה חשובה בתחיית המשחקים האולימפיים אחרי מלחמת העולם השנייה. ב-1952, פרש אדסטרם מתפקידו ובמקומו מונה אייברי בראנדייג' האמריקאי.
ב-1931 היה אדסטרם שותף להחלטה מעוררת המחלוקת של התאחדות האתלטיקה הבינלאומית, שהחליטה להחרים את האצן הפיני פאבו נורמי, מהשתתפות באולימפיאדת לוס אנג'לס 1932, משום שראתה בו ספורטאי מקצועני - דבר שהיה אסור באותם ימים במשחקים האולימפיים. כתוצאה מההחלטה חלה התדרדרות של ממש ביחסים בין שתי המדינות הסקנדינביות, לפחות בכל האמור לשיתוף פעולה ספורטיבי.