James kom til Los Angeles i september 2003 for at indspille med Tom Rothrock.
Siden Blunt udgav Back to Bedlam, har han solgt over 11 millioner cd'er over hele verden, og dette album røg ind som nummer et i 18 lande og i top 10 i yderligere 35 lande. Han har været nomineret til fem Grammy-priser, og var den første engelske sanger, som røg ind på hitlisternes førsteplads med "You’re Beautiful" efter Elton John udgav "Candle in the Wind" i 1997. Desuden vandt Blunt to MTV-priser og to Brit-priser.
Albummet All the Lost Souls blev til mens Blunt turnerede og lavede PR for Back to Bedlam. I turbussen skrev han fem sange og afprøvede dem foran publikum. Da det kom til de resterende sange, følte han, at han måtte stå af ræset, og i 2006 trak han sig tilbage på Ibiza for at færdiggøre de resterende sange. Dette gav ham samtidig den fornødne ro og fred til at forstå, hvad der egentlig var sket i hans liv siden hans karriere tog fart.
For at prøve noget nyt, bad Blunt sin udgiver om at finde nogle mennesker at samarbejde med, som måske ikke ved første øjekast var de mest indlysende valg. Dette ønske medførte et samarbejde med Mark Batson, Jimmy Hogarth, Steve McEwan og Max Martin. Blunt havde allerede arbejdet sammen med Jimmy Hogarth på tekster til albummet Back to Bedlam og ønskede at gøre sig endnu mere fri ved at lade andre skrive teksterne også.