Unique extrait de l'album éponyme paru la même année[3], il est le titre qui a lancé la carrière du groupe, qui a déjà trois années d'expérience derrière lui et a déjà enregistré un single (Simple Simon) passé inaperçu à sa sortie, puisqu'il ne se classe qu'à la 38e place du ARIA Charts, hit-parade australien.
Just Keep Walking fait l'objet du premier clip du groupe, tourné à la façon d'une prestation live dans un décor minimaliste : fond blanc et logo INXS au sol[4].