Irminger blev sjöofficer 1857, avancerade till kapten och tog avsked som kommendör 1888. Han hade redan innan dess blivit ledamot av styrelsen for Det Kongelige Danske Geografiske Selskab, för vilket han 1885-1903 var sekreterare. Irmingers geografiska intresse var främst inriktat på det då pågående utforskandet av de arktiska områdena, men även av upptäcktsresorna i Afrika, vilket bland annat tog sig uttryck i att han översatte några av Henry Morton Stanleys och Heinrich Barths reseskildringar till danska.
År 1897 blev Irminger utnämnd till korresponderande ledamot av Royal Geographical Society i London, och vid sin avgång som sekreterare till korresponderande ledamot av Gesellschaft für Erdkunde i Berlin och Norges geografiske selskab. Han var även, intill hög ålder, medarbetare vid Berlingske Tidende i Köpenhamn.
