עם סיום בית הספר, ב-1928, עזב מרסר לניו יורק. הוא ניסה את כוחו בשירה ובכתיבה. שירו הראשון ששובץ ב-1930 במחזמר הראשון של רוג'רס והארט, The Garrick Gaieties, היה "ללא נשימה (ופוחד ממך למוות)". השיר הוקלט מאוחר יותר באותה שנה על ידי ג'ו ונוטי ולהקתו. באותה עת הכיר את אשתו ג'ינג'ר מיהאן, נערת מקהלה במחזמר.
ב-1931 קיבל עבודה קבועה ככותב שירים בחברת Miller Music, בסמטת טין פאן. הוא שר עם תזמורותיהם של פרנקי טראמבאואר ופול וייטמן וסייע ליפ הרבורג בכתיבת המופע "אמריקנה". באתה שנה פגש בהוגי קרמייקל והשניים הפכו לצמד כותבים, שירם Lazybones זכה להצלחה והיה ללהיט.
הוליווד
מרסר נענה להזמנתו של בינג קרוסבי להצטרף אליו להוליווד. חלומו היה לכתוב לסרטים של פרד אסטר וג'ינג'ר רוג'רס. ב-1935 כתב שיר שבוצע על ידי פרד אסטר בסרט To Beat the Band, שלא זכה להצלחה. חיי הלילה התוססים של ניו יורק חסרו לו וחוסר ההצלחה תיסכל אותו. בשנים אלה הרבה מרסר לשתות משקאות חריפים יחד עם קרוסבי ובני חוגו.
הפריצה להכרה ציבורית הגיעה לבסוף עם שירו I'm an Old Cowhand from the Rio Grande שבוצע על ידי קרוסבי, שזיכה אותו בחוזה אצל האחים וורנר והוביל לכתיבת השיר Jeepers Creepers שבוצע על ידי לואי ארמסטרונג וזיכה את מרסר במועמדות ראשונה לפרס אוסקר.
ב-1938 היה שותף למופע קומי בהשתתפות קרוסבי ובוב הופ וב-1939 כתב עם קרמייקל את המחזמר Walk With Music[1] לספר מאת גאי בולטון שזכה להצלחה בברודוויי.
ב-1941 החל מרסר לנהל רומן עם ג'ודי גרלנד בת ה-19. למרות שגרלנד נישאה לאחר במהלך התקופה הרומן רק התעצם. מרסר טען ששירו מאותה תקופה I Remember You מביע את עומק רגשותיו לגרלנד[2]. באותה שנה פגש במלחין-שותף מרכזי נוסף שלו, הרולד ארלן. לחניו של ארלן, שהושפעו מבלוז וגוספל דרומיים שורשיים, איפשרו לתמלילים של מרסר ביטוי חופשי ומתוחכם יותר והוא החל לעשות שימוש בדיאלקט דרומי בשיריו. שירם הראשון היה ללהיט, זכה לביקורות חיוביות נלהבות[3] והיה מועמד לאוסקר. בהמשך כתבו מרסר וארלן שורת להיטים לסרטים, בהם: Come Rain or Come Shine,That Old Black Magic, Any Place I Hang My Hat Is Home ו- One for My Baby (and One More for the Road).
ב-1942 כתב עם ג'רום קרן את פסקול הסרט You Were Never Lovelier בכיכובם של פרד אסטר וריטה הייוורת' ובו הלהיט I'm Old Fashioned[4]. באותה שנה הקים יחד עם המפיק באדי דה-סילווה ובעל חנות המוזיקה גלן ווליש את חברת התקליטים קפיטול רקורדס.
בשנות הארבעים היה מרסר לכותב מילים מוערך, בזכות זריזותו בכתיבה ואוזנו הקשובה לשיח העדכני. הוא התבקש על ידי אולפני קולנוע לכתוב מילים ללחנים קיימים, כך נכתבו השירים Laura (לסרט בשם זה מ-1945), ו-Satin Doll ללחן של דיוק אלינגטון ובילי סטרייהורן. הוא גם התבקש לתרגם מילים ללהיטים בשפות זרות, כך תרגם את "עלי שלכת" מן המקור הצרפתי.
ב-1951 זכה עם הוגי קרמייקל בפרס אוסקר לשיר המקורי הטוב ביותר עם In the Cool, Cool, Cool of the Evening ("בקרירות, קרירות, קרירות הערב"). הייתה זו זכייתו השנייה בפרס זה, הראשונה הייתה עם השיר The Harvey Girls, בשנת 1946. ב-1952 כתב את המילים לסרט "היפהפיה מניו יורק". ב-1954 כתב את המילים לשירי הסרט המוזיקלי שבע כלות לשבעה אחים ולסרט אבא ארך רגליים. ב-1957 כתב את השיר "ברנדין" שהושר בפי פט בון בסרט ברנדין והפך ללהיט. ב-1958 כתב את התמלילים לשירי הסרט אנדרו העליז. בשנים 1961 ו-1962 שיתף פעולה עם המלחין הנרי מנסיני בכתיבת פסקולים לסרטים ארוחת בוקר בטיפאני וימי יין ושושנים. שני השירים משני הסרטים ("מון ריבר" מארוחת בוקר בטיפני" ושיר הנושא "ימי יין ושושנים") זכו בפרס אוסקר לשיר המקורי הטוב ביותר שנה אחר שנה ובכך הפכו מרסר ומנסיני לזוג הכותבים היחיד שזכה בפרס בשנים עוקבות. בשנים 1964, 1966, 1971 כתבו השניים פסקולים לסרטים "חידון בחרוזים" (Charade, מותחן עם קרי גרנט ואודרי הפבורן), "המרוץ הגדול" (The Great Race, עם נטלי ווד) ו-"לילי יקירתי" (Darling Lili, עם ג'ולי אנדרוז), ששירי הנושא שלהם זכו למועמדויות לאוסקר. ב-1965 כתב מילים לשיר "אמילי" מתוך הסרט "אמילי הופכת לאמריקאית" בהשתתפות ג'ולי אנדרוז וג''מס גארנר.
מלבד הביצועים המקוריים מן הסרטים, ביצעו את שיריו זמרים כפרנק סינטרה, בינג קרוסבי, אלה פיצג'רלד, לואי ארמסטרונג ואחרים כמו כן ביצע מרסר את שיריו בעצמו והקליט מספר תקליטים בהם שר משיריו ומשירי אחרים.
מרסר נפטר בשכונת בל אייר בלוס אנג'לס מגידול במוח ונקבר בעיר הולדתו, סוואנה, ג'ורג'יה.