Před volbami do Knesetu v roce 1996 byl na 34. místě kandidátní listiny stran Likud-Gešer-Comet, ale poslancem se nakonec nestal, jelikož aliance stran získala pouze 32 mandátů. Do Knesetu se však dostal v listopadu 1998, kdy nahradil Ehuda Olmerta. Byl znovuzvolen v roce 1999 a 2003 a v roce 2003 se stal ministrem zemědělství ve vládě Ariela Šarona. Vládu opustil v roce 2006 poté, co se od Likudu oddělila část členů, aby založila stranu Kadima. Poslancem byl poté opět zvolen ve volbách v roce 2006.
V roce 2007 doporučila izraelská policie obvinit Kace na základě obvinění z podvodu a porušení důvěry spojené s politickými jmenováními na ministerstvu zemědělství za jeho působení.
Poslanecký mandát obhájil i v roce 2009 a po volbách se stal ministrem dopravy ve druhé Netanjahuově vládě. Opětovně byl zvolen v předčasných volbách v roce 2013, po nichž si původní ministerský post udržel.