James O’Grady besuchte die öffentlichen Schulen seiner Heimat. Im Jahr 1885 absolvierte er die University of Rochester. Nach einem Jurastudium und seiner im Zulassung als Rechtsanwalt begann er in Rochester in diesem Beruf zu arbeiten. Von 1887 bis 1892 gehörte er dem dortigen Bildungsausschuss an. Ab 1891 war er Präsident dieses Gremiums. Politisch schloss er sich der Republikanischen Partei an. Zwischen 1893 und 1898 saß er als Abgeordneter in der New York State Assembly und war zeitweise Speaker dieser Kammer.
Bei den Kongresswahlen des Jahres 1898 wurde O’Grady im 31. Wahlbezirk von New York in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1899 die Nachfolge von Henry C. Brewster antrat. Da er im Jahr 1900 auf eine weitere Kandidatur verzichtete, konnte er bis zum 3. März 1901 nur eine Legislaturperiode im Kongress absolvieren. Nach seiner Zeit im US-Repräsentantenhaus praktizierte er wieder als Anwalt. Er starb am 3. November 1928 in Rochester, wo er auch beigesetzt wurde.
