Er ist Sohn des Anwalts José María Ruiz Gallardón und von Ana María Jiménez Aladrén. Nach dem Abitur in der Nuestra Señora del Recuerdo Schule studierte er Jura in der Universität San Pablo CEU. 1995 wurde er zum Präsidenten der autonomen Gemeinschaft Madrid gewählt. 1999 kam es zu seiner Wiederwahl. 2003 wurde er Bürgermeister der Stadt Madrid mit einer erneuten Wiederwahl im Jahre 2007. Am 21. Dezember 2011 wurde er zum Justizminister Spaniens im Kabinett von Mariano Rajoy ernannt.[1]
Ruiz-Gallardóns Schwiegervater José Utrera Molina (* 1926) war ein führender Politiker der Diktatur Francisco Francos und zeichnete unter anderem 1974 als 'Ministro-Secretario General del Movimiento' (Januar 1974 bis März 1975) das Todesurteil gegen den Anarchisten Salvador Puig Antich gegen.[2][3]
Am 23. September 2014 trat Gallardón als Justizminister zurück, nachdem Ministerpräsident Rajoy entschieden hatte, das Abtreibungsrecht in Spanien nicht so zu verschärfen wie zeitweise geplant. Er gab bekannt, dass er sich nach dreißig Jahren komplett aus der Politik zurückziehen werde.[4] Sein Nachfolger wurde Rafael Catalá Polo.