President James Monroe fick en förkrossande majoritet av rösterna i presidentvalet i USA 1820. Det fanns inga officiella motkandidater men trots detta röstade en trolös elektor mot honom i elektorskollegiet. Det var William Plumer som hade lovat stödja Monroe men röstade ändå på John Quincy Adams. I vicepresidentvalet fanns det hela fjorton elektorer som röstade på någon annan kandidat än ämbetsinnehavaren Daniel D. Tompkins. Richard Stockton fick åtta röster. Alla fyra elektorerna från Delaware röstade på Daniel Rodney och en elektor från Maryland röstade på Robert Goodloe Harper. Plumer, som var speciellt kritisk till Tompkins prestation som vicepresident, var ensam om att rösta på Richard Rush. Plumer kommenterade angående vicepresidentens enda officiella uppdrag som senatens talman att även i det uppdraget var Tompkins "frånvarande nästan tre fjärdedelar av tiden".
Plumer var den äldsta då levande före detta senatorn efter Asher Robbins död år 1845. Plumer avled 91 år gammal och gravsattes på familjekyrkogården i Epping.[1]