Rowe studierte zunächst an der London Art School Kunst und arbeitete als Jazzmusiker bei Mike Westbrook, wo er sich dem freien Spiel näherte. Mit seinen Kommilitonen Eddie Prévost und Lou Gare gründete er 1965 das einflussreiche Improvisationsensemble AMM, dem er (außer zwischen 1972 und 1976) bis zum Jahre 2004 angehörte. Rowe entwickelte zunächst vor allem in dieser Gruppe einen unkonventionellen Gebrauch der Gitarre, mit dem er für die Musikavantgarde neue Spielmöglichkeiten vorbereitete: Ähnlich wie Masayuki Takayanagi legte er zum Spielen die Gitarre auf einen Tisch und verwendete Materialien, um sie ähnlich wie ein Klavier zu präparieren; auch nutzte er Instrumente mit einem dritten Steg. Weiterhin bezog er Radios und andere Geräuscherzeuger ein.
Rowe war auch an der Gründung der ElektronicabandM.I.M.E.O. und der Gruppe [N:Q] beteiligt. Er gilt seit den 1990er Jahren als einer der einflussreichsten Musiker im Bereich der freien Improvisationsmusik und der elektroakustischen Musik.
