La chanson est écrite pour s'inscrire dans le cycle de Ziggy Stardust, personnage principal et éponyme de l'album que projette Bowie (le texte mentionne « frère Ziggy ») et contient des références au film alors récent Orange mécanique. Cependant, ses allusions explicites au sexe oral dissuadent RCA de la retenir dans l'album : « On parlait de sexe oral, et je ne pense pas que RCA y tenait particulièrement », déclare Bowie en 1990[1].
Elle ne paraît que dix-huit ans plus tard, en piste bonus de la réédition de Ziggy Stardust par Rykodisc en 1990. Sa sortie est une surprise totale : les fans et les collectionneurs ignoraient totalement le morceau et même son coproducteur Ken Scott avait oublié son existence[2][3]. Le morceau est inclus ultérieurement sur le disque bonus de la réédition du 30e anniversaire de l'album en 2002 et à nouveau en 2012 pour commémorer ses quarante ans (cette fois avec une discussion en studio de trente secondes entre Bowie et le groupe).
D'un tempo semblable à une autre chanson abandonnée enregistrée au cours de la même session (une reprise de Around and Around de Chuck Berry), Sweet Head est interprétée par Mick Ronson à la guitare électrique, par Bowie pour la voix et sa guitare acoustique habituelle à douze cordes, Trevor Bolder à la guitare basse et Mick Woodmansey à la batterie. Cinq prises de son ont été enregistrées ; la version publiée est la quatrième[réf. nécessaire].
