Harley war der älteste Sohn von Sir Edward Harley (1624–1700), Gutsherr von Brampton Bryan Castle in Herefordshire, aus dessen zweiter Ehe mit Abigail Stephens. Er wurde in Covent Garden in London geboren. Harley wuchs in Shilton bei Burdon in Oxfordshire auf und ging gemeinsam mit Simon Harcourt, dem späteren Lord High Chancellor und Thomas Trevor, dem späteren Lord Chief Justice of the Common Pleas zur Schule. Schon in frühen Jahren lernte er die Grundlagen des Whigismus und Nonkonformismus.
Im Mai 1685 heiratete er Edith Foley († 1691), eine Tochter des Unterhausabgeordneten Thomas Foley und Schwester des späteren 1. Baron Foley. Sie starb allerdings bereits am 30. November 1691 an den Pocken. Später heiratete er in zweiter Ehe Sarah Middleton († 1737), Tochter von Simon Middleton, Gutsherr von Hurst Hill in Edmonton.
Während der Glorious Revolution 1688 stellten sein Vater und er einen TroopKavallerie zur Unterstützung von William III. auf und besetzte in seinem Namen Worcester. Daraufhin wurde Robert Harley 1689 Sheriff von Herefordshire und im selben Jahr als Abgeordneter für das Borough Tregony in Cornwall ins Unterhaus des Parlaments gewählt. 1690 wurde er Unterhausabgeordneter für Radnor in Wales und hatte dieses Mandat bis 1711 inne, als er zum Peer erhoben wurde. 1696 wurde er Major des Miliz-Regiments von Herefordshire.
Von 1701 bis 1704 war Harley Speaker des Unterhauses. Am 18. Mai 1704 löste er zudem den Earl of Nottingham als Staatssekretär für das Northern Department ab. Von 1704 bis 1708 war er im Whigministerium von Sidney Godolphin, 1. Earl of Godolphin, tätig.
Im Jahr 1714 verlor er das Vertrauen von Königin Anne, die sich nun mehr auf Henry St. John, 1. Viscount Bolingbroke, verließ, der am 27. Juli 1714 sein offizieller Nachfolger als Lord High Treasurer wurde. Am 1. August starb die Königin, und Georg I. folgte ihr auf dem Thron. Harley zog sich nach Herefordshire zurück, wurde aber bereits am 16. Juli 1715 unter dem Verdacht, die Jakobiten zu unterstützen, im Tower of London gefangengesetzt und wegen Hochverrats angeklagt. Nach zwei Jahren Gefangenschaft wurde er wieder auf freien Fuß gesetzt und durfte seinen Platz im Oberhaus wieder einnehmen. Er zeigte aber nur noch wenig Interesse an öffentlichen Angelegenheiten.
Impeachment against E. Oxford brought from House of Commons. (2. August 1715). In: Journal of the House of Lords. Band 20: 1714–1717. HMSO, London 1767–1830 (British History Online).