Shiloah syntyi ottomaanien hallitsemassa JerusalemissaReuven Zaslanskina, myöhemmin Shiloah vaihtoi nimekseen Zaslani ja otti koodinimekseen Shiloah. Shiloah syntyi ortodoksijuutalaiseen perheeseen, hänen isänsä oli rabbi, Shiloah kasvatettiin hyvin uskonnolliseen perheeseen. 1930-luvulla Shiloah tapasi neworkillaisen Betty Bordenin ja menivät naimisiin vuonna 1936.
Shiloah oli pitkään Israelin politiikassa ja oli David Ben-Gurionin hyvä ystävä. Ennen vuoden 1948 sotaa Shiloah solmi suhteita muiden maiden salaisiin poliiseihin etenkin läntisiin osastoihin. Ben-Gurion perusti Mossadin vuonna 1949joulukuussa ja nimitti Shiloahin sen johtoon.