DemokratenJohn G. Utterback besegrade Brewster i kongressvalet 1932. Brewster överklagade utan framgång valresultatet. Han ifrågasatte speciellt rösträkningen i vissa områden i Aroostook County men franskspråkig katolsk befolkning. Brewster besegrade sedan Utterback i kongressvalet 1934. Han omvaldes två gånger och profilerade sig som motståndare till Franklin D. RooseveltsNew Deal-reformer.[4]
Frederick G. Payne besegrade Brewster i republikanernas primärval inför senatsvalet 1952. Hughes hade övertalat Payne att ställa upp i valet, medan Brewster hade förlorat i popularitet i Maine i och med att han stödde McCarthys politik.[6] Brewster avgick den 31 december 1952.[7]
Brewster var medlem i den religiösa rörelsen Kristen Vetenskap. Han gravsattes på Mount Pleasant Cemetery i Dexter.[8]Alan Alda hade rollen som Brewster i The Aviator, filmen som handlar om Howard Hughes liv.[9][10]