Koller ble valgt inn som medlem av Forbundsrådet den 10. desember 1986 som medlem av Det kristendemokratiske folkepartiet. Koller representerte kantonenAppenzell Innerrhoden. Koller forlot denne posisjonen den 30. april 1999, etter tretten år som medlem av Forbundsrådet. I Kollers tid som medlem av Forbundsrådet hadde han ansvaret for politi- og justisdepartementet og forsvarsdepartementet. Koller satt også som president for den sveitsiske konføderasjonen i to omganger, først i 1990 og for andre gang i 1997.
Koller er styreleder i Forum for Federations, en internasjonal organisasjon som skal hjelpe og utvikle bedre praksis for det føderale styresettet i land over hele verden.