Miller wurde in South Bend im Bundesstaat Indiana geboren. Er absolvierte seine Ausbildung in South Bend, Chicago und New York. Dort machte er 1852 auch seinen Abschluss als Rechtsanwalt an der State and National Law School. Er praktizierte zunächst in South Bend, zog jedoch schon im nächsten Jahr nach Napa in Kalifornien. Neben seiner Anwaltstätigkeit wurde er hier auch Gemeindekämmerer. 1955 kehrte er nach South Bend zurück und wurde dort 1960 in den Senat von Indiana gewählt.
Während des Tullahoma-Feldzugs kommandierte Miller eine Brigade unter General McCook im XX. Corps. Er wurde während einer Schlacht bei Liberty Gap am 27. Juni 1863 schwer verwundet und verlor sein linkes Auge. Er kehrte am 10. April 1864 in den Dienst zurück und wurde rückwirkend zum 5. Januar zum Brigadegeneral befördert. Im Mai 1864 wurde er zum Kommandanten der Garnison von Nashville ernannt. Er kehrte im Dezember auf das Schlachtfeld zurück und befehligte eine stattliche Truppe in der Schlacht von Nashville. Für die Leistungen in dieser Schlacht wurde er am 13. März 1865 zum Zwei-Sterne-General befördert.
Rückkehr nach Kalifornien
Miller lehnte eine Anstellung als Oberst in der regulären Armee ab und schied am 29. September 1865 aus dem Dienst aus. Er zog zurück nach Kalifornien, wo ihn PräsidentAndrew Johnson zum Zollmeister im Hafen von San Francisco ernannte. 1869 lehnte er eine weitere Amtszeit ab und wurde zum Vorsitzenden der Alaska Commercial Company, welche die Fellindustrie der Pribilof Islands kontrollierte.
Miller kaufte 1869 einen Teil der Rancho Yajome im Napa Valley.[1] Zum Zeitpunkt des Kaufs war das Grundstück gänzlich unerschlossen. Das Ehepaar kaufte das Areal, auf dem sich nun der Silverado Country Club befindet, aus verschiedenen Quellen zusammen.
Miller kehrte in die Politik zurück. Von 1878 bis 1879 war er Mitglied der zweiten state constitutional convention. Die California State Legislature wählte 1880 den Republikaner Miller zum US-Senator für den Bundesstaat. Er war ein starker Befürworter verschiedener Gesetzesvorschläge zur Einschränkung des Einflusses chinesischer Einwanderer. Er brachte seine Vorurteile gegenüber den chinesischen Einwanderern im Chinese Exclusion Act von 1882 zum Ausdruck:
One complete man, the product of free institutions and high civilization, is worth more to the world than hundreds of barbarians. Upon what other theory can we justify the almost complete extermination of the Indians, the original possessor of all these States? I believe that one such man as Newton, or Franklin, or Lincoln, glorifies the creator of the world and benefits mankind more than all the Chinese who have lived, struggled and died on the banks of the Hoang Ho. 13 Cong. Rec. 1,487(1882).
Er war Vorsitzender des Ausschusses zur Gesetzesüberarbeitung der Vereinigten Staaten im 47. Kongress und war Mitglied des Außenausschusses im 49. Kongress.
Senator Miller verstarb in seinem Büro in Washington. Er wurde ursprünglich auf dem Laurel Hill Cemetery in San Francisco begraben, wurde aber am 5. Mai 1913 auf den Nationalfriedhof Arlington umgebettet, zusammen mit seiner Frau Mary Wickerham (Chess) Miller, seiner Tochter und seinem Schwiegersohn, Rear Admiral Richardson Clover.