Anderson machte zunächst eine Ausbildung zum Juristen, später bildete er sich bei den Royal Engineers in Konstruktion und Entwurf aus und besuchte die Architekturabteilung des School Board of Manufacturers. Er arbeitete bei Pierre Cuypers in den Niederlanden und bei George Gilbert Scott in London. Nach kurzer Partnerschaft mit David Bryce eröffnete er 1875 in Edinburgh ein eigenes Architekturbüro, später die Architektenfirma Rowand Anderson, Kininmonth and Paul. 1916 wurde er erster Präsident des neu gegründeten Scottish Institute of Architects und erhielt die Royal Gold Medal des Royal Institute of British Architects.