Shirley estis la dua filo de lia moŝto Laurence Shirley (mem la kvara filo de Robert Shirley, 1-a Grafo Ferrers) kaj lia edzino, Anne. Ĉirkaŭ 1738, li eniris la Royal Navy kaj altiĝis tra la rangoj de Dua Leŭtenanto en 1741, Unua Leŭtenanto en 1746 kaj Post-Kapitano tuj poste.
Du semajnojn post la ekzekuto de sia frato, Laurence Shirley, 4-a Grafo Ferrers en 1760, Shirley prenis lian sidlokon en la House of Lords (kiel la nova Grafo Ferrers) kaj en 1763, Georgo la 3-a donis al li la familiajn posedaĵojn, antaŭe pune perditajn de lia frato kiel krimulo (je la granda surprizo de Casanova, kiam li vizitis Londonon) kaj li komencis transformi la familian sidejon de Staunton Harold en Leicestershire. Li poste estis promociita kiel Sub-Admiralo en 1771 kaj Vic-Admiralo en 1775.
Shirley mortis en 1778 en Chartley Manor Place, Staffordshire kaj estis entombigita en Staunton Harold. Ĉar li havis neniun infanon de sia edzino, Anne, lia titolo kaj posedaĵoj transiris al lia pli juna frato, Robert.[2]