«Hip Hip» fue publicado como el segundo sencillo de la banda en noviembre de 1983 por Kitchenware Records (como SK 6). Al igual que la mayoría de los sencillos publicados en los primeros años de la banda, «Hip Hip» no apareció en un ningún álbum de estudio de la banda hasta el álbum recopilatorio Boxed (1985).[1] La canción también apareció en el álbum recopilatorio de la banda The Sound of Philadelphia (1993),[2] y en la caja recopilatoria de Cherry Red RecordsThe Sun Shines Here: The Roots of Indie Pop 1980–1984 (2021).[3] Una versión grabada el 28 de noviembre de 1982 en la BBC Radio para el programa de radio de David Jensen fue publicado como un sencillo promocional en julio de 2022.[4]