Comme la plupart des chanteurs israéliens, il a commencé sa carrière dans l'armée, dans la chorale de l'unité Nahal de Tsahal. Il créa ensuite le "Yarkon Bridge Trio" (hébreu: שלישיית גשר הירקון), avec Arik Einstein et Beni Amdorsky. Les trois sont rapidement devenus des stars incontestées de la chanson israélienne.
Gaon a interprété de nombreuses chansons d'autres stars de la chanson israélienne, notamment des chansons de Naomi Shemer tels que Od Lo Ahavti Dai ("Je n'ai pas encore aimé assez"), Simanei haDerekh ("Les bornes limites") et Al Kol Eileh ("Pour toutes ces choses"). Il a également chanté lors de la cérémonie de remise du Prix Nobel à Yitzhak Rabin, Shimon Peres et Yasser Arafat.
Yoram Gaon a été élu au conseil municipal de Jérusalem en 1993. Son action a principalement été consacrée au développement culturel et artistique de la ville.