הוא היה מושל גיברלטר בין השנים 1883-1886, וצוין כמי שידע לשמור על האיזון הנכון בין הצרכים של גיברלטר כמבצר צבאי לבין הצרכים של האוכלוסייה האזרחית שהתגוררה שם. בתקופה זו החלו לגלות את הכישרון האומנותי שלו (ראו בהמשך)[2].
הוא נישא לקלרה ג'ואן וויליאמס (Clara Joan Williams)[3] בשנת 1899. נולדו להם שלושה ילדים: שתי בנות, ויניפרידה (Winifreda) ואוולין ויולט (Evelyn Violet), ובן אחד, סר ג'ון אדיי שייהפך להיות מייג'ור גנרל בצבא הבריטי.
אדיי היה בנוסף גם צייר וסופר, ותיאר את התנסויותיו בעבודות כמו: "סקירה של מלחמת קרים" (1859; Review of the Crimean War), "זכרונות מהחיים הצבאיים" (1895; Recollections of A Military Life).