У 1970 році він закінчив факультет політології Університету Орхуса. Він працював учителем і викладачем університету, опублікував кілька робіт у галузі політичних наук, присвячених, зокрема, лібералізму.
Він належить до ліберальної партії «Венстре». З 1975 по 1999 рік він був членом данського парламенту (Фолькетінгу). З 1982 по 1993 він був міністром освіти в уряді Поуля Шльотера, починаючи з 1987 року також був відповідальним за Міністерство науки, технології та прогресу.
У 2001 році прем'єр-міністр Андерс Фог Расмуссен доручив йому посаду міністра біженців, імміграції та інтеграції. У тому ж році він став також міністром Європи, а у 2004 році — міністром співробітництва у цілях розвитку. У 2005 році Хордер повернувся до Фолькетінгу, переобирався у 2007, 2011 і 2015 роках. У другому уряді Андерса Фога Расмуссена був міністром освіти та міністром церкви. Крім того, він очолював Міністерство освіти у третьому уряді Андерса Фога Расмуссена з 2007 року, відповідаючи також за співпрацю північних країн. Таку ж посаду отримав в уряді Ларса Люкке Расмуссена, сформованому у 2009 році. У 2010 році перейшов на посаду міністра охорони здоров'я і внутрішніх справ, яку обіймав до 2011 року. У 2015 році знову увійшов до данського уряду — Ларс Люкке Расмуссен доручив йому портфель міністра культури та церкви.
Гордер обіймав посади міністра у різних міністерствах більше двадцяти років, найдовше з часів реформи політичної системи у 1901 році.
