Pas toen zijn termijn als bisschop er vrijwel opzat werd Groër in 1995 door verschillende oud-seminaristen en oud-leerlingen aangeklaagd voor seksueel misbruik van minderjarigen. De beschuldiging werd onder meer geuit door Joseph Hartmann, een oud-leerling van een kostschool waar Groër werkte. Hartmann reageerde op Groërs uithaal naar mensen die het tegenwoordig niet zo nauw namen met de seksuelemoraal van de Kerk. Een anti-Groër-petitie (Kirchenvolksbegehren) met een half miljoen handtekeningen volgde.[1]
Ontslag
Nog datzelfde jaar trad hij af als aartsbisschop van Wenen, hij werd opgevolgd door kardinaal Christoph Schönborn. Paus Johannes Paulus II verzocht hem in april 1998 alle kerkelijke activiteiten stop te zetten, wat Groër deed,[2] en waarna hij Oostenrijk verliet. Groër trok naar een klooster in het DuitseDresden maar keerde eind 1998 terug naar Oostenrijk. Hij vroeg openlijk om vergiffenis zonder evenwel met zoveel woorden schuld te bekennen.
Groër stierf in St. Pölten, waar zijn vroegere hulpbisschop in Wenen, dr. Kurt Krenn, inmiddels bisschop was geworden. Groër leefde de laatste jaren teruggetrokken in het trapistinnenklooster Marienfeld, vlak ten noorden van Wenen. Daar is hij ook begraven.
De Duitse psychotherapeut, priester en kerkcriticus Eugen Drewermann nam het in zekere zin voor Groër op. Hij noemde de afgetreden aartsbisschop het typische voorbeeld én slachtoffer van de "in seks verstikte katholieke, klerikale structuren".[3]