Matthäus Hörfarter besuchte das Franziskanergymnasium in Hall in Tirol. Anschließend belegte er philosophische Kurse an der Universität Innsbruck und begann dann ein Medizinstudium an der Universität Wien. Gleichzeitig beschäftigte er sich mit Philosophie und wurde ein Anhänger Anton Günthers. Nach dem Besuch des Priesterseminars in Salzburg wurde er 1843 zum Priester geweiht.
1853 wurde er an die neugeschaffene Lehrkanzel für Fundamentaltheologie und Metaphysik nach Salzburg berufen. Als Anhänger Günthers musste er diese jedoch wieder verlassen und wurde 1859 Pfarrer und Dechant in Kufstein. Hier widmete er sich verstärkt Erziehungsfragen. Er reformierte das städtische Volksschulwesen, gründete 1869 eine weibliche Fortbildungsschule, 1870 den landwirtschaftlichen Bezirksverein und den ersten Kindergarten Tirols. Außerdem war er 1877 maßgeblich an der Gründung der Sektion Kufstein des Deutschen und Österreichischen Alpenvereins beteiligt und zwischen 1877 und 1890 (mit Unterbrechungen) deren Obmann.