Au printemps 1955, Ray est en tournée. Son agenda ne lui permet pas de revenir à New York pour une nouvelle session d'enregistrement. Ce sont donc Ahmet Ertegün et Jerry Wexler qui font le déplacement. La séance a lieu au petit matin du dans les locaux de la radio locale WMAQ à Miami. Ray et son orchestre, qui se produisaient la veille au Palms à Hallendale devant 10 000 personnes, n'ont eu que quelques heures pour se reposer[4]. Ils enregistrent quatre morceaux : A Bit of Soul, Hard Times, This Little Girl of Mine et A Fool for You[5].
La chanson est inspirée par la structure et les harmonies du gospel, avec un tempo en rythmé par le piano. Mais les paroles sont tout à fait profanes. C'est avec ce type de chansons que Ray Charles participe à l'invention de la musique soul[5].