Am 10. September 1853 ernannte ihn der Salzburger Erzbischof Maximilian Joseph von Tarnóczy zum Fürstbischof von Seckau, womit gleichzeitig die Übernahme als Administrator von Leoben verbunden war. Am 6. November desselben Jahres empfing Attems vom Erzbischof die Bischofsweihe. In seine Amtszeit fiel die endgültige Vereinigung der Diözesen Leoben und Seckau. Der politisch liberal eingestellte Graf Attems war zudem Mitglied des Herrenhauses, an dessen Sitzungen er auch teilnahm.