Riddleberger efterträdde 1883 John W. Johnston som senator för Virginia. Han bytte 1885 parti från Readjuster Party till republikanerna. Han efterträddes 1889 som senator av John S. Barbour, Jr., en konservativ demokrat som ville behålla de gamla maktstrukturerna. Riddleberger avled i januari 1890 och gravsattes på Cedarwood Cemetery i Edinburg.