Robertson-Swann volgde een opleiding aan de National Art School in Sydney. Aansluitend studeerde hij in 1962 beeldhouwkunst in Engeland bij Anthony Caro en Phillip King aan de Saint Martins School of Art in Londen. Van 1963 tot 1965 assisteerde hij in het atelier van Henry Moore en was hij docent aan diverse kunstinstituten in Londen. In 1968 keerde hij terug naar Australië. Hij was in 1969 de winnaar van de Transfield Prize en de Comalco Invitational Sculpture Award en won in 1976 de Alice Prize. Hij was van 1978 tot 1989 hoofd van de sculpture workshop van de Canberra School of Art. Van 1991 tot 2006 was hij universitair docent en had hij de leiding van de beeldhouwopleiding aan de National Art School.