Президент Закарі Тейлор, який представляв вігів, помер в 1850, не доживши до наступних виборів. Президентом став його віцепрезидент Міллард Філлмор. Однак, партія вігів при номінації обійшла Філлмора та висунула генерала Уінфілда Скотта. Демократична партія знову номінувала маловідомого політика, цього разу — Франкліна Пірса. Як і 1844 року віги вели передвиборчу кампанію, акцентуючи увагу на невідомості Пірса та знову програли. Франклін Пірс виграв вибори з величезним відривом від Скотта: 254 голоси проти 42.
Після поразки на виборах партія вігів припинила своє існування. Частина вігів перейшла в Демократичну партію, інша влилася в створювану Республіканську, інші разом з Американською нативістською партією організували нативістську анти-іммігрантську партію нічого-не-знаю.