Irmer studierte von 1980 bis 1985 Schulmusik in Kassel, danach bis 1990 Violine an der Musikhochschule Köln-Wuppertal. Bei der documenta IX in Kassel war er Mitglied des Improvisationsorchesters unter Leitung von Jon Rose, mit dem er auch auf Tournee ging. 1994/95 wirkte er an Peter Kowalds Projekt 365 Tage am Ort in Wuppertal mit, 1996 trat er beim Drumming for Africa mit Tony Oxley, Trevor Watts und anderen auf. Im gleichen Jahr arbeitete er beim Vinschgauer Orgelsommer mit Arvo Pärt zusammen. Weiterhin wirkte er an Tanztheaterprojekten wie Danza e musica in strada (Südtirol 1996), der Butoh-Tanz-Performance Prinzenrolle (Wuppertal 1997) und dem Tanztheaterstück Sind Sie wahnsinnig (nach Heiner Müller) des TanzMusikTheater T.M.T.4.2. (1998) mit. Seit 2000 organisiert er das Klappstuhl-Fest für freie Musik und Tanz in Wuppertal.