Der Sohn des Arztes James Manby Gully, einem Pionier auf dem Gebiet der Hydrotherapie, absolvierte nach dem Schulbesuch ein Studium der Rechtswissenschaften am Trinity College (Cambridge), wo er zeitweise auch Präsident des Debattierclubs „Cambridge Union Society“ war. Nach Abschluss des Studiums wurde er 1860 zum Rechtsanwalt zugelassen, 1877 wechselt er ins Richteramt.
Politische Laufbahn
Gully begann seine politische Laufbahn als erfolgloser Kandidat der Liberal Party bei den Unterhauswahlen von 1880 und 1883 im Wahlkreis Whitehaven. 1886 wurde er zum Abgeordneten des britischen Unterhauses gewählt. Dort vertrat er bis 1905 den Wahlkreis Carlisle.
Im April 1895 wurde er als Nachfolger von Arthur Wellesley Peel zum Sprecher (Speaker) des House of Commons gewählt. Dabei setzte er sich mit der knappen Mehrheit von elf Stimmen gegen den Kandidaten der Unionist Party, Matthew Ridley, durch, der jedoch am 21. Juni 1895 Innenminister im Kabinett des Marquess of Salisbury wurde.
1905 trat er von seinem Amt als Speaker zurück. Nachfolger als Unterhaussprecher wurde sein bisheriger Erster Stellvertreter James William Lowther. Einer alten Tradition gemäß wurde er in den erblichen Adelsstand erhoben. Er führte den Titel Viscount Selby (den Geburtsnamen seiner Ehefrau) und gehörte als solcher dem House of Lords an.