בשנת 1071 עבר עם אביו לפוסטאט (כיום חלק מקהיר), כנראה בשל פלישת הסלג'וקים.
בגניזה הקהירית נמצא קובץ שאלות ותשובות משנת 1071 בהן חתומים אליהו הכהן גאון ובנו אביתר גאון[2] שהוזכרה במחזור ויטרי בתור "רבי משולם בן משה שאל את פי אריות יושבי ירושלים עיר הקודש"[3]. לאחר מכן עבר לעיר צור, אליה עברה ישיבת ארץ ישראל ושימש בה תחת הנהגת אביו כאב בית דין.
לאחר פטירת אביו בשנת 1083 שימש בה כראש הישיבה ואילו אחיו שלמה התמנה לאב בית הדין. מוסד זה בצור היה הסמכות הארץ-ישראלית האחרונה מימי הסנהדרין. בעקבות המחלוקת הקשה עם דוד בן דניאל (בנו של דניאל בן עזריה) שניסה לזכות בכוח בהנהגת היהודים מטעם השלטון, נאלץ רבי אביתר ב-1095 לעזוב לסוריה והישיבה התפרקה. לאחר כשנה חזר לצור והישיבה חזרה עמו אך כבר ב-1096 נחרבה הקהילה בצור ואביתר העביר את הישיבה לטריפולי. אחיו שלמה הקים בדרך הסמוכה לדמשק את ישיבת ארץ הצבי שאף עברה בהמשך לדמשק, ובנו של שלמה ר' מצליח הכהן גאון הקים ישיבה בשם דומה בפוסטאט שבמצרים. בניו של אביתר גאון היו ר' אליהו, ר' צדוק וחתנו היה ר' עמרם הכהן.
רבי אביתר נפטר בשנת 1112 בקירוב. על שמו קרוי הר אביתר שבגליל העליון. ייתכן שהר אביתר נקרא על-שם "מגילת אביתר", בה מסופר כי לאחר מות אביו בשנת 1083 בצור, נשאוהו "כל ישראל במשא כתף, ולא על הסוסים מהלך שלושה ימים להר הגליל לדלתון, ויקבר בראש ההר אצל רבי יוסי הגלילי...".
מגילת אביתר
מחיבוריו של אביתר לא נשארה אלא מגילה מפורסמת, הידועה בשם "מגילת אביתר" ומספרת על תולדות גאונות ירושלים במאה ה-11. המגילה כתובה בלשון מליצית ומתארת את פרשת מלחמת בית אביו נגד רבי דניאל בן עזריה ובנו דוד שניסו בכוח להשתרר על היהודים באותה תקופה תוך דחיקת ההנהגה הקיימת. מן המגילה עולה שהיו לאביתר ידיעות בתלמוד ובמדרשים, ושהיה נוטה לתורת הסוד.
ארץ ישראל אינה קרואה גולה שיהא ראש גולה נסמך בה, ועוד שאין עוקרין נשיא שבארץ ישראל, שעל פיו מעברין את השנה וקובעין את המועדות הסדורים לפני הקב"ה קודם יצירת העולם, דהכי גמרי בסוד העיבור
במגילה מסופר עוד שאביתר אכן עבר בעצמו ב-1083 מצור לחיפה כדי "לקדש בה את השנה" (ד'תתמ"ד) כסמל לסמכותו של המרכז הארץ-ישראלי בענייני קידוש החודש.
כמו כן מתואר במגילה הטקס של קבורת אביו אליהו גאון שנפטר בצור והועלה לקבורה בגליל בהשתתפות קהל רב.
כיום ידוע על שני כתבי יד של מגילת אביתר שנמצאו בגניזת קהיר; ידועים היום במספרם T-S 12.729[7] ו-T-S 10k.7.[8] שני כתבי היד חסרים מספר אותיות ולפעמים מילים שלמות.
