Ortodoxzsidó családban nevelkedett. A brit reklámüzletben kezdett dolgozni, mert azt gondolta, a reklámok segíthetnek neki abban, hogy majd később filmeket is készíthessen.
Tíz év munka után a Nike és a Mercedes Benz jól fizetett, díjnyertes reklámrendezője lett. Elnyerte a „legjelentősebb brit rendező Hitchcock óta” címet.
A New Line Cinemával forgatta az Amerikai história X-et, amelynek operatőre és rendezője is volt. Eközben a New Line-nal és Edward Nortonfilmszínésszel is konfliktusba keveredett. Amikor a film a mozikba került, Kaye stílusos fekete-fehér és színes kombinációjú filmkockáit és Norton teljesítményét Oscar-díjra jelölték.
