Israel Frederick Fischer wurde ungefähr drei Jahre vor dem Ausbruch des Bürgerkrieges in New York City geboren und wuchs dort auf. In dieser Zeit besuchte er öffentliche Schulen und das Cooper Institute. Danach arbeitete er als Büroangestellter (clerk) in einem Anwaltsbüro, wo er sich mit rechtswissenschaftlichen Prozessen beschäftigte (reading law). Im Anschluss studierte er Jura. Seine Zulassung als Anwalt erhielt er 1879 und begann dann in New York City zu praktizieren. Im September 1887 zog er in die noch eigenständige Stadt Brooklyn. Politisch gehörte er der Republikanischen Partei an. Zwischen 1888 und 1890 war er Mitglied im Executive Committee des Republican State Committees.
Bei den Kongresswahlen des Jahres 1894 wurde Fischer im vierten Wahlbezirk von New York in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1895 die Nachfolge von William J. Coombs antrat. Er wurde einmal wiedergewählt. Im Jahr 1898 erlitt er bei seiner Wiederwahlkandidatur eine Niederlage und schied nach dem 3. März 1899 aus dem Kongres aus.
Am 2. Mai 1899 berief ihn PräsidentWilliam McKinley in den Board of General Appraisers. Präsident Calvin Coolidge ernannte ihn am 16. April 1927 zum Chief Justice von diesem Gericht, eine Stellung, die er bis zu seinem Rücktritt am 31. März 1932 innehatte. Fischer nahm 1903 als Delegierter am International Customs Congress in New York City teil. Er verstarb dort am 16. März 1940 und wurde dann auf dem Maimonides Cemetery in Brooklyn beigesetzt.
