Praise & Blame is vergelijkbaar met het laatste album van de AmerikaansecountryzangerJohnny Cash, American VI: Ain't No Grave.[1][2] Dat album werd na diens overlijden uitgegeven en kenmerkte zich door de kale productie en sober getoonzette nummers. Op Praise & Blame keerde Jones als het ware terug naar zijn 'roots' en vertolkte hij nummers die van grote invloed zijn geweest op zijn muzikale carrière.[3] Waar Jones bekendheid verwierf met energieke en bombastisch opgezette hits als "It's Not Unusual" (1965) en "Sex Bomb" (1999), werden bij de opnamen van Praise & Blame de orkestrale uitvoeringen achterwege gelaten. Deze omslag leidde tot kritiek door de vicepresident van de platenmaatschappijIsland Records, David Sharpe, die in een uitgelekte e-mail zijn werknemers waarschuwde dat hij de plaat niet uit zou geven.[4][5]
Op het album staat een verzameling van oude gospel-, soul, blues en folkmuziek. Zo zijn er het bluesnummer "Burning Hell" van John Lee Hooker en het door folkzanger Bob Dylan gecomponeerde "What Good Am I" op te vinden. De bewerking van Dylans nummer werd in een recensie in Het Parool beschreven als "ronduit nederig" en "ingetogen".[4] Jones' cover van "Burning Hell" werd op diens zeventigste verjaardag, 7 juni 2010, als single uitgegeven. Het album bevat daarnaast een verzameling relatief onbekende soul- en gospelnummers, en een uitvoering van de traditional "Ain't No Grave", een nummer dat ook op het laatste album van Cash verscheen.
