Rock 'n' Roll with Me voit le jour lorsque Warren Peace, ami et choriste de Bowie, en joue les accords au piano dans la maison du chanteur sur Oakley Street. Bowie en écrit ensuite le refrain et les paroles[1]. Elle est conçue à l'origine pour une comédie musicale autour du personnage de Ziggy Stardust, projet qui n'est jamais concrétisé[2]. Ses paroles décrivent la relation profonde qui unit l'artiste à son public, une relation qui n'est pas forcément saine et confine peut-être au fanatisme[2],[3]. Musicalement, c'est une ballade d'inspiration soul, « interprétée avec charme » pour Nicholas Pegg[3], qui « ne dépasse jamais l'exercice de style » pour Matthieu Thibault[4].
Bowie n'interprète Rock 'n' Roll with Me en concert que durant le Diamond Dogs Tour, en 1974. La version live parue sur l'album David Live la même année est éditée en single aux États-Unis au mois de septembre, visiblement pour concurrencer la reprise de Donovan sortie au même moment[3]. Ni l'une, ni l'autre ne se classe dans le Billboard Hot 100.
