Fischer blev student fra Slagelse lærde skole1835 og cand.theol.1842. 1844 blev han adjunkt ved Slagelse skole og virkede særlig som lærer i matematik og regning. At Fischer ved denne skoles nedlæggelse 1852 opgav lærergerningen, skyldtes vist nok til dels den misstemning, han fra forskellige sider blev genstand for på grund af en afhandling, han 1849 offentliggjorde i skolens program om "Astronomien og Skriftens Autoritet", og i hvilken han hævdede, at de bibelske forestillinger om verdensbygningen afveg fra videnskabens resultater.
Politisk deltagelse
Fra samme år blev så den politiske virksomhed hans væsentligste livsgerning. Han havde 1848 forgæves søgt at blive valgt til Slagelsekredsens repræsentant i den grundlovgivende rigsforsamling, men 1852 stillede han sig i samme kreds som Bondevennepartiets kandidat og valgtes da ind i Folketinget. Her sluttede han sig nær til Tscherning, for hvem han i de første år af sin rigsdagsvirksomhed nærede en overordentlig veneration, og han blev et af de medlemmer af Venstre, som villigst fulgte ham til den alliance, han i disse år tilvejebragte mellem Venstre og de konservativehelstatsmænd.
En vis nøgtern virkelighedssans i forbindelse med megen logisk og kritisk evne var Fischers hovedforce som politiker, men han savnede den egentlige partiledende evne og forstod kun i ringe grad at knytte andre personlig til sig. Fischer var hele sit liv igennem en afgjort modstander af de Nationalliberale, og hans uvilje mod disse kom i tidens løb ofte til at danne forbindelsesleddet mellem ham og politikere, med hvem han ellers ikke havde synderligt til fælles. Allerede i hans bondevennetid blev Helstatspolitikken for ham det afgørende, og han knyttede sig særlig nær til det den gang i øvrigt svage godsejerlige element i dansk politik.
Da Bondevennernes hovedstyrke 1854 skilte sig fra det Ørstedske ministerium, blev Fischer stående på dettes side og anså det derfor ved opløsningsvalget 1854 for unyttigt at søge genvalg i sin gamle kreds. Han blev imidlertid 1855 ved sin ven godsejer Skeels hjælp valgt til folketingsmand for Sæbykredsen og genvalgtes her lige indtil 1866. 1853—1865 valgtes han med en kort afbrydelse til statsrevisor af Folketinget og 1866—1875 af Landstinget. Ficher røgtede denne gerning med overordentlig samvittighedsfuldhed og dygtighed.
Mens han i Folketinget aldrig havde rådet over nogen større, selvstændig indflydelse, blev forholdet anderledes, da han 1866, efter, på grund af sin ivrige virksomhed for forfatningsrevisionen, at være bleven vraget ved Folketingsvalget i Sæbykredsen, blev indsat i Landstinget som kongevalgt medlem. Fischer så klart hvilken overordentlig indflydelse, forfatningsrevisionen ville skaffe den store grundbesiddelse, og fra nu af fremtrådte han
åbent som en af dennes politiske hovedordførere. Hans partiforbindelse med Venstre var fra den tid af at betragte som ophørt.
1875 blev han optaget i det Estrupske Ministerium som kultusminister og udfoldede her en betydelig og dygtig administrativ og politisk virksomhed. Der kom i hans tid større orden og fasthed i Kultusministeriets forretningsgang, end der i lang tid havde været, men på lovgivningsområdet udrettede han intet af større betydning. Sin gamle tilbøjelighed for politisk underhåndsarbejde bevarede han også som minister, og han var således virksom for at fremkalde Folketingets beslutning om rigsretsaktionen mod Hall og Krieger, i den tanke, at den skulle umuliggøre ethvert fremtidigt samarbejde mellem Venstre og de Nationalliberale.
Han arbejdede også for at hidføre et resultat af de senere underhandlinger mellem Christen Berg og krigsministerKauffmann om en hærlovrevision. Hans virksomhed her, som ikke var godkendt af det øvrige ministerium, i forbindelse med det modsætningsforhold, hvori han af forskellige grunde, blandt andet ved sit arbejde for dr. Georg Brandesansættelse ved universitetet., var kommet til indflydelsesrige kredse, bevirkede 1880 hans afgang som minister. 1882 blev han direktør for Frederiks Hospital og Fødselsstiftelsen, i hvilken stilling han døde.
