Родился 5 октября 1919 года в городе Печ[3] в семье военного.
В 1941 году окончил Военную академию «Людовика» в звании лейтенанта. 20 августа направлен в 23-й пограничный батальон пограничных войск. С 3 августа 1942 года — слушатель танковой школы в Эстергоме, где обучался теории и практике танка. В январе 1943 года направлен в 3-й танковый полк[3].
С апреля 1944 года Эрвин Тарцай служил во 2-м танковом эскадроне 1-го танкового батальона 3-го танкового полка 2-й танковой дивизии в Галиции. Воевал на танках «Туран II», а затем после перевооружения в мае танкового парка дивизии боевой техникой немецкого производства — командовал тяжёлым танком «Тигр»[2].
В июле 1944 года 1-й Украинский фронт Красной армии начал Львовско-Сандомирскую операцию, и уже через 10 дней 1-я венгерская армия была вынуждена отходить в Карпаты. 2-я танковая дивизия удерживала район города Станислав, потеряв к 29 июля 7 из 10 своих «Тигров». После переформирования в тылу дивизия снова была перевооружена немецкой бронетехникой, и эскадрон Тарцай получил 5 танков «Пантера»[2].
В сентябре 1944 года эскадрон Тарцай в составе 2-й танковой дивизии был переброшен на румынскую границу для обороны Трансильвании от румын, перешедших на сторону Красной армии. 5 сентября танковый эскадрон Тарцай участвовал в боях в районе Турды в Румынии, в дальнейших боях его экипаж записал на свой счет 1 советский танк. За период с 15 сентября по 5 октября эскадрон Тарцай заявил об уничтожении 11 танков, 17 противотанковых орудий, 20 пулемётных гнезд и одной «Катюши» противника[2].
Несмотря на отдельные локальные успехи 2-й танковой дивизии, наступление Красной армии развивалось далее. К 25 октября 2-я танковая дивизия отошла на оборонительный рубеж на реке Тиса, уничтожив в общей сложности с 6 по 25 октября 16 танков и САУ противника. Известно, что Эрвин Тарцай шёл в бой с открытым люком, что расценивается либо как признак героизма, либо как прагматичный способ в случае попадания в танк быстрее покинуть его[2].
В ноябре и декабре 2-я танковая дивизия была направлена в Словакию, в район города Стурово, для отражения советского наступления. Однако советское наступление остановить не удалось, и 14 декабря город был взят частями Красной армии. 2-я танковая дивизия была разгромлена (на 21 декабря в ней осталось две «Пантеры» и два танка Pz Kpfw IV), её остатки были подчинены дивизии «Святой Ласло». В составе дивизии танкисты сражались до начала января 1945 года на реке Грон[2].
В январе 1945 Тарцай вне очереди было присвоено звание капитана. Вместе с 40 танкистами он отправился в Галатну (Словакия) на формирование новых венгерских танковых подразделений. Вновь созданному 1-му танковому батальону вермахт и части СС передали 27 танков Pz Kpfw IV и две «Пантеры». В январе-февраля Тарцай находился в отпуске, а 15 марта он женился и за военные заслуги был посвящён в рыцари[2].
Однако 16 марта 1945 года 3-й Украинский фронт начал операцию по освобождению Вены, и уже на следующий день капитан вернулся в свою часть, где под его командование передали оставшиеся четыре танка Pz Kpfw IV[2].
Погиб в бою 18 марта 1945 года в районе села Бодайк[венг.] медье Фейер (по другим данным, был ранен и вынесен из танка в заброшенный дом, а затем брошен своими товарищами и умер сутки спустя от потери крови). Похоронен в деревне Шёред[венг.][3].
vitéz Tarcazy Ervin(венг.). hatarvadasz.hu. Дата обращения: 26 января 2013. Архивировано из оригинала 4 марта 2016 года.
Tarczay Ervin(венг.). Honvédelmi Minisztérium Katonai Hagyományőrző és Hadisírgondozó Osztály. Дата обращения: 26 января 2013. Архивировано 6 февраля 2013 года.