McCumber blev 1899 invald i senaten. Han besegrade sittande senatorn William N. Roach i senatsvalet. Han omvaldes tre gånger.
Boies Penrose, som var ordförande i senatens finansutskott, avled i december 1921. McCumber efterträdde honom som ordförande i finansutskottet. McCumber efterträddes 1923 som senator av Lynn Frazier. Reed Smoot valdes till finansutskottets ordförande.