Matthews wurde in Cincinnati geboren und studierte Jura am Kenyon College. Nach dem Ende seines Studiums eröffnete er eine Anwaltskanzlei in Cincinnati. Von 1840 bis 1845 war er im Maury County in Tennessee als Rechtsanwalt tätig. In den Jahren 1846 bis 1848 war er als Redakteur beim Cincinnati Herald tätig. Bevor er 1856 in den Senat von Ohio gewählt wurde, war er Richter im Hamilton County. Im Senat saß er bis 1857. Er wurde 1858 zum United States Attorney für den südlichen Distrikt von Ohio ernannt. Dieses Amt hatte er bis 1861 inne. Er war beteiligt am Sezessionskrieg, zuletzt im Range eines Lieutenant Colonel.
1876 kandidierte er erfolglos für einen Sitz im US-Repräsentantenhaus. Ein Jahr später gelang ihm der Einzug in den Senat. In einer Special-Election wurde er als Nachfolger von John Sherman gewählt. Matthews Amtszeit endete, nachdem er sich nicht zur Wiederwahl hatte aufstellen lassen, 1879; sein Nachfolger wurde George H. Pendleton. Im Januar 1881 nominierte ihn US-PräsidentRutherford B. Hayes als Richter am Supreme Court of the United States. Da Hayes' Amtszeit am 4. März endete, befasste sich der Senat noch nicht mit Matthews' Nominierung. Der neu gewählte Präsident James A. Garfield bestätigte kurz nach seinem Amtsantritt die Nominierung. Der Senat folgte der Nominierung am 11. Mai mit einer Mehrheit von einer Stimme (24:23). Am 12. Mai wurde er von Chief JusticeMorrison R. Waite vereidigt. Er trat seinen Dienst noch am selben Tag an.
