Zsidó családban született hatodik gyerekként a kilenc közül. Zongorázni tanult. A gimnáziumot három év után otthagyta zenei karrierje kedvéért.
A chicagói Waterson, Berlin & Snyder zenei kiadónál kezdett dolgozni, és Gene Greene énekesnő kísérőjeként és némafilmek alá zongorázott. 1914-ben New Yorkba költözött és kiadója hangszerelőjeként Pete Wendlinggel közösen zeneszámokat is kezdett írni.
Megírta első sikeres slágerét, a "„Everything is Peaches Down in Georgia”-t Al Jolson számára Grant Clarke szövegíróval. Ezt követően Jack Yellen szövegíróval kezdett dolgozni. Együtt írták például a „A Young Man's Fancy” című dalt. Sikerek aratott az „I'm Nobody's Baby” is.
1922-ben Ager és Yellen társalapították az Ager, Yellen és Bornstein kiadócéget. Az elkövetkezendő évtizedben számos slágert írt, főleg Yellen szövegével.
1930-ban Hollywoodba költözött és közreműködött olyan filmekben, mint a Chasing Rainbows és a King of Jazz (1930). Az „A Bench in the Park” című filmben hangzott el a "Happy Days Are Here Again", amely Franklin D. Roosevelt kampánydala volt.
Miután a Warner Brothers megvásárolta az Ager, Yellen és Bornstein céget, Ager még évekig sikeres volt Hollywoodban. Az 1940-es években aztán gyakorlatilag visszavonult. 1979-ben bekerült a Songwriters Hall of Fame-be.
Dalok
Rockaway Hunt Fox Trot (1915)
Erin Is Calling (1916)
Tom, Dick and Harry and Jack (Hurry Back) (1917)
Everything is Peaches Down in Georgia, & George W. Meyer (1918)
France We Have Not Forgotten You (1918)
Anything is Nice (1919)
Freckles (1919)
There's a Lot of Blue-Eyed Marys Down in Maryland (1919)
A Young Man's Fancy (1920)
I'm Nobody's Baby (1920)
Lovin' Sam (1920)
Who Cares? (1920)
Stay Away From Louisville Lou (vagy Louisville Lou vagy That Vampin' Lady (1923)