Jeremiah Rusk besuchte die örtlichen Schulen seiner Heimat und leitete nach dem frühen Tod seines Vaters die elterliche Farm in Ohio. Dann zog er nach Viroqua in Wisconsin, wo er eine Gaststätte und eine Postkutschenlinie betrieb. Im Jahr 1855 wurde er zum Sheriff im heutigen Vernon County gewählt. 1861 wurde er Abgeordneter in der Wisconsin State Assembly. Bei Ausbruch des Bürgerkrieges stellte er ein Freiwilligenregiment für die Unionsarmee zusammen. Mit dieser Einheit war er unter anderem an der Belagerung von Vicksburg 1863 und der Einnahme von Atlanta im Jahr 1864 beteiligt. Bis zum Ende des Krieges hatte es Rusk bis zum Brigadegeneral gebracht.
Kongressabgeordneter
Nach seiner Rückkehr in das zivilen Leben war er bis 1870 Revisor der Staatsbank von Wisconsin. Danach vertrat er zwischen 1871 und 1877 seinen Staat im US-Repräsentantenhaus. Dort war er Vorsitzender des Ausschusses, der sich mit den Renten für die Kriegsversehrten befasste. Im Jahr 1881 lehnte er einige Stellenangebote des neuen Präsidenten James A. Garfield ab; stattdessen wurde er im gleichen Jahr als Kandidat der Republikanischen Partei zum neuen Gouverneur von Wisconsin gewählt.
Gouverneur von Wisconsin
Jeremiah Rusk trat sein neues Amt am 2. Januar 1882 an. Seine erste Amtszeit wurde um ein Jahr verlängert, weil die Verfassung des Landes dahingehend revidiert wurde, dass die Gouverneurswahlen in Zukunft in geraden Jahren stattfinden sollten. Nachdem er zweimal wiedergewählt worden war, konnte er bis zum 7. Januar 1889 im Amt bleiben. Auch er musste sich in seiner Zeit mit Arbeitskämpfen auseinandersetzen. Obwohl er mehr Verständnis für die Belange der Arbeiterschaft aufbrachte als sein Amtsvorgänger William E. Smith, sah er sich gezwungen, einen Streik in Milwaukee mit Hilfe der Nationalgarde niederzuschlagen. Bei der Aktion kamen fünf Personen ums Leben und es gab einige Schwerverletzte.
Minister
Nach dem Ende seiner Amtszeit als Gouverneur wurde Rusk von Präsident Benjamin Harrison als erster langfristiger US-Landwirtschaftsminister in dessen Kabinett berufen; sein Vorgänger Norman Jay Colman war schon vor seiner Senatsbestätigung mit dem Ende der vorangegangenen Regierung ausgeschieden. In dieser Funktion war er während der gesamten Amtszeit Harrisons bis zum März 1893 tätig. Es gelang ihm, mehrere ausländische Staaten zur Aufhebung von Einfuhrbeschränkungen für amerikanisches Vieh und Fleisch zu bewegen. Nach der Niederlage der Republikaner bei den Präsidentschaftswahlen und dem erneuten Amtsantritt von Grover Cleveland als US-Präsident musste Rusk sein Amt aufgeben. Er zog sich auf seine Farm bei Viroqua zurück, wo er im November 1893 verstarb. Jeremiah Rusk war zweimal verheiratet und hatte insgesamt sieben Kinder.
