Unter PräsidentBill Clinton war Rubin von 1995 bis 1999 der 70. Finanzminister der USA. Rubins Stellvertreter war sein späterer Nachfolger im Amt des Finanzministers, Larry Summers. Die an der Politik des ausgeglichenen Staatshaushalts orientierte Wirtschafts- und Wettbewerbspolitik der Clinton-Regierung wurde später nach ihm mit dem Begriff „Rubinomics“ bezeichnet.
Während Rubins Amtszeit kam es u. a. zur Aufhebung des Glass-Steagall Act, einem Gesetz zur Trennung von Kredit- und Investmentbanken. Diese Reform ermöglichte etwa die Fusion der Travelers Group und der Citicorp zur Citigroup. Seit 1999 – nach seinem Rücktritt als Finanzminister – bis zum Januar 2009 war Rubin als Berater bzw. Direktor für die Citigroup tätig.[3] Für diese Tätigkeit erhielt Rubin über 126 Mio. Dollar.[4] Im Zuge der Finanzkrise erhielt die Citigroup von der US-Regierung 45 Milliarden Dollar und eine Bürgschaft in Höhe von 300 Milliarden Dollar, um das Unternehmen vor der Insolvenz zu bewahren.[5]
Im April 2010 musste er als Zeuge vor einem Untersuchungsausschuss zur Finanzkrise erscheinen.[6]