John var en yngre søn af William Byron, 4. baron Byron. Han meldte sig ind i den britiske flåde som ung mand og var med til George Ansons verdensomsejling i 1740-41. Han led skibbrug på Patagoniens kyst og sin fortælling derom, The Narrative of the Honourable John Byron, er grundlaget til en af Patrick O'Brians romaner.