Закінчивши консерваторію в 1892 році почав працювати диригентом у Люцерні. Три роки по тому за рекомендацією Вюльнера він отримав місце керівника оркестру «Консертгебау» в Амстердамі. На останньому концерті свого попередника на цій посаді, Віллема Кеса, Менгельберг виступив як соліст у Першому фортепіанному концерті Ференц Ліста, а незабаром сам став за його пульт, виконавши П'яту симфоніюЛюдвіга ван Бетховена.
Будучи знайомим з багатьма сучасними йому композиторами — Густавом Малером, Ріхардом Штраусом, Арнольдом Шенбергом, Максом Регером, — Менгельберг активно пропагував їхні твори, часто виконуючи у своїх концертах. Ріхард Штраус присвятив Менгельбергу і його оркестру свою симфонічну поему «Життя героя». У 1920 році під керуванням Менгельберга відбувся перший в історії цикл концертів з музики Малера.
У 1928 році Менгельберг отримав почесний ступінь доктора Колумбійського університету, а в 1934 став професором музики в Утрехтському університеті. Під час війни диригент керував концертами у Німеччині та окупованих країнах, але не підтримував нацистської ідеології. Тим не менше, згодом Менгельбергу нерідко приписували співпрацю з нацистами, і в Нідерландах на його виступи в 1945 році було накладено заборону, не скасовану навіть після офіційного зняття всіх звинувачень два роки по тому. Останні роки життя Менгельберг провів у Швейцарії.