Elsner wurde 1965 bei Lothar Collatz an der Universität Hamburg promoviert (Einschließungssätze für Eigenwerte nicht normaler Matrizen).[2] 1970 habilitierte er sich in Hamburg und wurde 1971 wissenschaftlicher Rat und Professor an der Universität Erlangen. Ab den 1970er Jahren war er Professor in Bielefeld.
Neben Linearer Algebra befasst er sich auch mit Numerischer Mathematik (er veröffentlichte auch mit Helmut Hasse über algorithmische Zahlentheorie).
1999 erhielt er den Hans-Schneider-Preis in Linearer Algebra. Seit 1983 war er Mitherausgeber von Linear Algebra and its Applications.
