Senator John Rutherfurd avgick 1798 och Davenport blev utnämnd till senaten fram till mars 1799. Han tillträdde sedan som ledamot av representanthuset och efterträddes som senator av James Schureman. Davenport kandiderade inte till omval som ledamot av USA:s representanthus.
Davenports grav finns på Presbyterian Cemetery i North Woodbury.