Nach dem Schulbesuch studierte Rush Holt zunächst an der West Virginia University in Morgantown, ehe er 1924 seinen College-Abschluss in Salem machte. Danach arbeitete er als Lehrer und Leichtathletiktrainer an einer High School; später war er als Dozent am Salem College und dem State Teachers' College in Glenville tätig.
Von 1931 bis 1935 saß der Demokrat Holt im Abgeordnetenhaus von West Virginia. Nachdem er im November 1934 zum US-Senator gewählt worden war, hätte er diesen Sitz üblicherweise im Januar 1935 einnehmen sollen, doch da er zu diesem Zeitpunkt noch keine 30 Jahre alt war, zog er erst nach seinem Geburtstag am 21. Juni desselben Jahres in den Kongress ein. Zum Zeitpunkt seiner Wahl galt Holt als Anhänger von Präsident Franklin D. Roosevelt und konnte sich der Unterstützung der Bergarbeitergewerkschaft UMW sicher sein. Mit seinem Amtsantritt schienen sich seine politischen Ansichten jedoch zu wandeln: Er wurde zu einem Kritiker von Roosevelts New Deal und verlor den Zuspruch der Gewerkschaft.
Holt, der auch ein entschiedener Isolationist war und sich gegen einen Eintritt der Vereinigten Staaten in den Zweiten Weltkrieg starkmachte, wurde von den Demokraten 1940 nicht erneut für die Senatswahl aufgestellt, sodass seine Amtszeit am 3. Januar 1941 endete. Von 1942 bis 1950 gehörte er erneut dem Parlament seines Heimatstaates an, in dem er sich 1944 vergeblich um die demokratische Nominierung für das Amt des Gouverneurs bewarb. 1948 scheiterte er ein weiteres Mal beim Versuch, demokratischer Senatskandidat zu werden. Daraufhin wechselte Holt seine Parteizugehörigkeit und trat 1949 den Republikanern bei. Diese nominierten ihn 1950 für die Wahl zum US-Repräsentantenhaus und 1952 als Gouverneur, doch er unterlag in beiden Fällen. 1954 wurde er dann noch einmal ins Abgeordnetenhaus von West Virginia gewählt, wo er bis zu seinem Tod im folgenden Jahr verblieb.
Sein Sohn Rush wurde ebenfalls Politiker. Er gehört den Demokraten an und sitzt als Abgeordneter aus New Jersey im Repräsentantenhaus in Washington.
