בשנת 1973 נטל חלק ברביעיית "הכנופיה" לצד מרגלית צנעני, רזי אמיתי ואסתי כץ. הרביעייה שרה שירי בלוז ונשמה בסגנון מוזיקה אפרו-אמריקאי של אותה תקופה, והופיעה בפני חיילים במלחמת יום הכיפורים.
במהלך שנות השבעים שיריו של כהן הושמעו בתדירות גבוהה בתחנות הרדיו בישראל. בין להיטיו ניתן למנות את "ניגונה של השכונה" מאת עוזי חיטמן שהקליט ב-1976.
באותה שנה יצא אלבומו הראשון, שנקרא "חלומות שמורים", אשר כלל את שיר הנושא, "ירושלים האחרת", "illusions" ו"בדידות" (מילים: משה בן-שאול ללחן צרפתי). ב-1977 הקליט את השיר "שדרות בגשם" שהלחין נחום היימן למילותיו של נתן אלתרמן.
ב-1978 ביצע כהן שיר מטעם חברת האוטובוסים "דן" שנקרא "המשפחה של דן" (מילים: דן אלמגור, לחן: נורית הירש).
ב-22 באפריל 1978, זכה יזהר כהן במקום הראשון, בתחרות הזמר האירופית, האירוויזיון. השיר שביצע כהן היה "אבניבי", שאת מילותיו כתב אהוד מנור ללחן ולעיבוד של נורית הירש. את השיר ביצע יחד עם אלפא ביתא שהוקמה במיוחד לערב זה וכללה את ראובן ארז, ליסה גולד רובין, נחמה שוטן, אסתר צוברי ויצחק עוקב.
לאחר הזכייה בתחרות הגיעה התהילה, ועימה סבב הופעות בינלאומיות שערך. כעבור שנים חשף כהן כי בתקופה זו עבר התקפי חרדה מרובים ואף התמוטטות עצבים.
שנות ה-80
באפריל 1982 השתתף בתחרות הקדם אירוויזיון בשיר "אל האור" (מילים: שמרית אור, לחן ועיבוד: קובי אושרת) שהגיע למקום השביעי בתחרות.
בדצמבר 1983 השתתף בפסטיגל מספר 3 עם השיר "פיטר פן" (מילים: חמוטל בן זאב, לחן ועיבוד: קובי אושרת) שהגיע למקום השני.
בדצמבר 1984 השתתף בפסטיגל מספר 4 עם השיר "הולכים לישון" (מילים: חמוטל בן-זאב, לחן ועיבוד: קובי אושרת) שהגיע למקום השלישי.
ב-1985 זכה בקדם אירוויזיון עם שירם של חמוטל בן זאב וקובי אשרת "עולה עולה", וייצג את ישראל בפעם השנייה באירוויזיון. השיר הגיע למקום ה-5 בתחרות. במקור נכתב השיר עבור הפסטיגל, תחת השם "הכלב ויסקי"[דרוש מקור]. אולם, כאשר האמרגן שלמה צח שמע את השיר, הוא החליט כי השיר "חזק מדי בשביל הפסטיגל", וכי הוא מתאים יותר לאירוויזיון. לשם כך שינתה חמוטל בן זאב את המילים, כדי להופכו משיר ילדים לשיר פופ.
בקיץ 1985 השתתף במחזמר "ספינת החלומות" לצד לאה לופטין, והלהיט מתוכו "ים בלילה ים ביום" (מילים: יורם טהרלב, לחן ועיבוד: רוני וייס) זכה להשמעות רבות.
באותה השנה יצא אלבומו השני - "הבטחה", אשר כלל את השיר "כמו ציפור מטורפת", אותו הלחין נחום היימן למילותיו של יצחק איינהורן, ושיר הנושא (מילים: אהוד מנור, לחן: קובי אושרת). בדצמבר אותה שנה השתתף בפסטיבל שירי הילדים מספר 16 עם השיר "ילד תימני", שהלחין למילים של חמוטל בן-זאב, ועיבוד של אורי קריב. בנוסף שר את שיר הפתיחה של התוכנית המצוירת "הדבורה מאיה" בגרסת הסרט.
כהן תרם את קולו לדיבוב דמויות בתוכנית "רחוב סומסום" וגם ביצע מספר שירים בתוכנית.
בשנת 1987 השתתף בפעם השלישית בקדם אירוויזיון בדואט עם אחותו ורדינה כהן בשיר "מוזיקה היא נשיקה לנצח"', ללחן שלו עצמו, מילים של דודו ברק, ועיבוד של רוני וייס. השיר הגיע למקום החמישי בתחרות. באותה שנה הוציא את אלבומו השלישי "צומת דרכים" שהכיל בין היתר את השירים "ערב ניגונים", "בוא ניפגש", "שחרר קצת את החבל" (שנה שנתיים...), "מרינה" (בובה בובה) ושיר הנושא. קובי אושרת עיבד והפיק מוזיקלית את האלבום, ואיתו ניגנו בהקלטות חברי להקת "ברוש" מיכה מיכאלי בבס, ונגנים נוספים.
ב-1988 הוציא את אלבומו הרביעי "יזהר" עם השירים "אדם", "אשה אחרת", "לשחרחורת", "טנגו עכשיו" (שיר בסגנון הישן של אמא ואבא), "איש בודד איש נודד".
בסוף 1993 הוציא את אלבומו החמישי "לגעת במים לגעת ברוח". באלבום זה הלחין כהן שני שירים - "נדר" שכתב אברהם שלונסקי ו"ילדות מאוחרה" שכתב שמוליק קלוסקי. השירים שבלטו במיוחד באלבום זה הם "האדם" (מילים: מאיר גולדברג, לחן: קורין אלאל), "תפילה בדרך" (מילים: שמעון פרס, לחן: קובי אושרת), "שבים מקווים" (מילים: ארז ברזוליק לחן: נינו אורסיאנו) שיר הנושא (מילים של יצחק איינהורן, לחן: נחום היימן) ו"אני ודבורה הגדולה" (מילים: קובי לוריא, לחן: קורין אלאל) שנכתב לזכר השחקנית דבורה בקון במלאת עשר שנים למותה, ושכהן היה חבר קרוב שלה. גדי גולמן עיבד את שירי האלבום.
בשנים האחרונות עוסק כהן, בנוסף לשירה, גם בתכשיטנות והוא יוצר ומשווק תכשיטים בחנותו שנקראת "יזהר כהן Jewelery".
במאי2019, לקראת תחרות האירוויזיון, הוציא סינגל בשם "Blue Jeans and Bloody Tears". השיר נוצר על ידי מערכת בינה מלאכותית שלמדה מאות שירי אירוויזיון. השיר זכה בשני פרסי LOVIE ובפרס WEBBY כיצירת אינטרנט חדשנית.