Carey a louisianai Hahnville-ben született. Fiatal korában a család New Orleansba költözött. Bátyja, Jack Carey harsonás és zenekarvezető volt. Carey 1912 körül bátyja zenekarában kornetten játszott.
1917-ben Carey a vaudeville színpadokon turnézott. Az 1910-es években Kid Oryval dolgozott, akivel 1919 végén Kaliforniába ment. 1921 körül ott készültek első lemezei.
Amikor Ory Chicagóba költözött, Carey átvette zenekara vezetését, ami az 1930-as évekig Los Angelesben működött.
1944-ben Carey újra csatlakozott Oryhoz a The All Star Jazz Group zenekarban, amely a hagyományos New Orleans-i dzsessz újjáélesztésének vezetője volt. Az együttest a CBS rádió Orson Welles Almanac című sorozatához állítottak össze. Az All Star Jazz Group tagja volt még Ed Garland, Jimmie Noone, Bud Scott, Zutty Singleton és Buster Wilson is. A Kid Ory's Creole Jazz Band névre keresztelt zenekar jelentős felvételeket készített a Crescent Records kiadónál.
Carey 1947-ben hagyta el Kid Ory zenekarát, és a saját neve alatt vezetett egy zenekart.
Carey Lake Elsinore-ban halt meg 1948-ban, 56 évesen.
