Parker erlernte bereits in jungen Jahren die englische Sprache und besuchte von 1842 bis 1846 verschiedene Schulen und Colleges im Bundesstaat New York. Anschließend arbeitete er als Angestellter im Büro für Indianerangelegenheiten, vertrat seinen Stamm bei Verhandlungen mit der Bundesregierung in Washington, D.C. und studierte nebenbei Jura, wie damals in den USA üblich im Selbststudium. Da er als Indianer nicht die amerikanische Staatsbürgerschaft besaß, erhielt er jedoch keine Zulassung als Rechtsanwalt und nahm daraufhin 1849 ein Ingenieurstudium auf. 1851 wurde er zum Grand Sachem (Häuptling) der Seneca gewählt und konnte als solcher 1857 erreichen, dass die Untergruppe der Tonawanda-Senecas, deren Umsiedlung nach Kansas vorgesehen war, ihr angestammtes Gebiet in New York behalten und zum Reservat erklären konnten. In den folgenden Jahren arbeitete er als Bau- und Vermessungsingenieur in diversen Staaten des Mittleren Westens, wo er 1860 den ehemaligen Offizier und nunmehrigen Kaufmannsgehilfen Ulysses S. Grant kennenlernte.
Bei Ausbruch des amerikanischen Bürgerkrieges ergriff Parker Partei für die Nordstaaten und versuchte mehrfach, ein Offizierspatent in der Unionsarmee zu erhalten. Erneut scheiterten seine Pläne aber an der fehlenden Staatsbürgerschaft. Auch ein Appell an den Kongress blieb erfolglos. Erst auf die Vermittlung seines inzwischen zum General aufgestiegenen Freundes Grant hin wurde er Ende Mai 1863 zum Hauptmann der Freiwilligen ernannt und als Pionieroffizier in den Stab der Tennessee-Armee aufgenommen. 1864 wurde Parker dann Grants persönlicher Sekretär und begleitete den neu ernannten Oberbefehlshaber des Unionsheeres auf den östlichen Kriegsschauplatz, wo er am 30. August zum Oberstleutnant befördert wurde. Unter anderem entwarf er die Kapitulationsurkunde, die Grant und der geschlagene General Robert Edward Lee bei der Kapitulation in Appomattox Court House unterzeichneten. Nach Kriegsende zum Oberst und Brevet-Brigadegeneral befördert, diente Parker weiterhin als Grants Adjutant, bis dieser 1869 zum US-Präsidenten gewählt wurde und seinen alten Weggefährten zum Kommissar für indianische Angelegenheiten bestellte. Er war der erste Ureinwohner, der dieses Amt ausübte. Parker widmete sich dieser Aufgabe zunächst mit großem Enthusiasmus, musste aber bald erkennen, dass die Schwerfälligkeit der Bürokratie und die Engstirnigkeit der Beamten in Washington alle Bemühungen, die Situation für die Indianer zu verbessern, zunichtemachten. Im August 1871 trat er von seinem Amt zurück, nachdem ihm Unregelmäßigkeiten beim Kauf von Lebensmitteln für vom Hunger bedrohte Stämme vorgeworfen worden waren. In den verbleibenden Jahren seines Ruhestandes war er wiederholt als Berater und Sachverständiger für die New Yorker Stadtverwaltung tätig.
