La UMI va ser fundada en la seva primera forma durant el Congrés de Matemàtics, que va tenir lloc a Estrasburg del 22 al 30 de setembre de 1920.
Inicialment, la internacionalitat de la societat es va veure enfosquida en gran manera per l'intent, especialment de França després de la Primera Guerra Mundial, d'excloure els matemàtics alemanys i austríacs de la UMI i del Congrés Internacional de Matemàtics (ICM). Menció especial va fer amb això Émile Picard, de 1919 a 1936 President del Consell Internacional d'Investigacions, sorgit de la UMI, i de 1929 a 1931 president honorari de la IMU. Per exemple, Dinamarca es va negar a unir-se a la UMI a instàncies de Harald Bohr.
No va ser fins a 1928 que Salvatore Pincherle va aconseguir superar aquestes tendències nacionalistes en l'ICM de Bolonya, que ell mateix va organitzar, però no en la pròpia UMI. El factor decisiu va ser l'actitud negativa cap a l'actitud francesa dels matemàtics britànics (Godfrey Harold Hardy) i estatunidencs. A causa d'aquesta disputa, la UMI va deixar d'existir el 1932 i es va dissoldre oficialment el 1936 (malgrat els esforços del seu últim president, William Henry Young per salvar-la) i només es va restablir després de la Segona Guerra Mundial (1951). La primera conferència va tenir lloc a Roma el 1952. Els errors de l'època posterior a la Primera Guerra Mundial no es van repetir, també perquè els estatunidencs ara van marcar la pauta, especialment Marshall Stone,[5] qui va organitzar el primer ICM el 1950 a Harvard. L'exclusió d'estats ja no era possible segons els nous estatuts, que es van aprovar a Nova York el 1950. Els matemàtics francesos també van adoptar una postura diferent en aquell moment, especialment Henri Cartan, que va establir estrets vincles amb els matemàtics alemanys (especialment Heinrich Behnke a Münster) immediatament després de la Segona Guerra Mundial.
Van sorgir nous problemes del conflicte Est-Oest i altres conflictes com entre la República Popular de la Xina i Taiwan. El 1982, la ICM a Varsòvia es va posposar durant un any a causa de la llei marcial que es va imposar. A causa de la política de viatges restrictiva de la Unió Soviètica (per exemple, per als matemàtics jueus), hi va haver diversos conflictes amb representants estatunidencs a la UMI, per exemple a la dècada de 1970 entre Lev Pontryagin i Nathan Jacobson (tots dos vicepresidents de la UMI).
Berlín va ser triada com a seu el 2010, a l'Institut Weierstrass d'Anàlisi Aplicada i Estocàstica. Anteriorment, la seu es va traslladar amb el secretari general electe d'un país a un altre.
