José María Caro Rodríguez war das vierte von neun Kindern von José María Caro Rodríguez Martínez, des örtlichen Bürgermeisters, und seiner Frau. Er besuchte die Schule in Ciruelos, zu der er jeden Tag fünf Kilometer gehen musste. Zur gleichen Zeit erwarb Ramón Jiménez Saavedra, ein Kanoniker des Domkapitels von Santiago, einen Bauernhof in der Nähe, wo er in den Sommermonaten täglich die Messe feierte. Der junge José María ministrierte ihm.
Bald schlug ihm der Kanoniker die priesterliche Laufbahn vor. Im März dieses Jahres reiste er mit seinem Vater nach Santiago, um die Aufnahmeprüfung des Seminars abzulegen. 1887 begann er ein Studium der Theologie und der griechischen Sprache und bekam Sprachunterricht im Priesterseminar. Der neu ernannte Erzbischof von Santiago, Mariano Casanova y Casanova, schickte ihn mit einigen anderen Studenten nach Rom, um dort das Studium am Päpstlichen lateinamerikanischen Kolleg „Pius“ und an der Päpstlichen Universität Gregoriana fortzusetzen.
Trotz einer schweren Lungenkrankheit empfing er am 20. Dezember 1890 das Sakrament der Priesterweihe. Er promovierte zum Doktor der Theologie an der Päpstlichen Universität Gregoriana. 1891 kehrte er nach Chile zurück, als das Land von einem Bürgerkrieg zerrissen war. Er lehrte Philosophie am Seminar in Santiago und war als Seelsorger in mehreren Krankenhäusern und Pfarreien tätig, unter anderem als Pfarrer in Mamina von März bis Dezember 1899. Im Jahre 1900 kehrte er als Professor der Theologie in das Seminar zurück.
PapstPius XI. ernannte ihn am 14. Dezember 1925 zum Bischof von La Serena. Dort schrieb er die meisten seiner Bücher. Mit der Erhebung von La Serena zum Erzbistum wurde José María Caro am 20. Mai 1939 dessen erster Erzbischof.
Am 14. Oktober 1939 wurde er zum Erzbischof von Santiago ernannt. Als solcher war er die treibende Kraft hinter dem Bau der VotivkircheTemplo Votivo de Maipú(Basilika Unserer Lieben Frau vom Berge Karmel) als Dank für den Sieg über das spanische Heer im Unabhängigkeitskrieg.
Er nahm am Konklave 1958 teil. Am 4. Dezember desselben Jahres empfing er, an Lungenentzündung erkrankt, die Krankensalbung. José María Caro Rodríguez starb tags darauf um 13.20 Uhr in Santiago de Chile im Alter von 92 Jahren. Seine sterblichen Überreste ruhen in einer Kapelle im rechten Seitenschiff der Catedral Metropolitana de Santiago. Bis April 2006 befanden sich seine sterblichen Überreste in der neuen erzbischöflichen Krypta der Catedral Metropolitana de Santiago.
Kardinal Caro Rodríguez war Träger zahlreicher Orden von ausländischen Regierungen.
Joaquín Fuenzalida Morande (Hrsg.): Autobiografía del Eminentísimo y Reverendísimo, Señor Cardenal D. María José Caro Rodríguez, primer cardenal chileno. Apuntes y recuerdos, documentos importantes. Francisco Carrión, Santiago de Chile 1969.
Augusto Salinas Fuenzalida: Un pastor santo. El eminentísmo Señor Cardenal Don José María Caro Rodríguez, 1866–1958. Editorial Andrés Bello, Santiago de Chile 1981.
Benjamín Silva Torrealba: Evangelizando Tarapacá: Iglesia regional bajo los ojos de José María Caro, 1911–1926. In: Anuario de Historia de la Iglesia en Chile.ISSN0716-1662, Jg. 27 (2009), S. 135–148.