נולד בנובי דבור (אנ'), פולין, הסמוכה להורדנה (לימים בבלארוס), לרב יצחק אייזיק פינחס (שם המשפחה המקורי היה אליאשברג)[2] ולאשתו פרומה (לבית גולדשמידט). למד בילדותו אצל רבי מנדלי מדוברובה, ואחר כך בישיבות ליטא, בישיבת שער התורה בגרודנה אצל רבי משה טרופ, ובישיבת רוזינוי אצל רבי מרדכי גימפל יפה.
ב-1886נסמך לרבנות בידי הנצי"ב מוולוז'ין. הוא שב לבית חמיו בביאליסטוק והיה פעיל בארגון שיעורי תורה. ב-1888 התמנה לרבנות העיירה קופצ'ווה, ב-1901 עבר לכהן ברבנות סרהייא (סייריאי (אנ')) הסמוכה לסובאלק. לאחר פרעות קישינב היה מעורב באיסוף כספים לטובת נפגעי הפרעות.[3] באותן שנים סייע לרב שמואל מוהליבר בענייניו הציוניים.
נבחר לכהן כרבה של הקהילה היהודית באוסטרולנקה, לאחר עזיבתו של הרב משה נחום ירושלמסקי ב-1902. אולם, כמה מן החסידים בעיר שהתנגדו לבחירה הלשינו בפני מושל המחוז שהוא תומך בציונות, שהייתה תנועה פוליטית אסורה באימפריה הרוסית דאז, והלה פסל את בחירתו. הפרשה הביאה לפרוץ מאבק משפטי ארוך שנים, שהסתיים בהכרעה שתמיכה בציונות אינה עבירה פלילית, אך באותה עת כבר כיהן הרב פינחס כרבה של טיקטין.[4][5]
בשנת תרע"ד, נפטרה אשתו חיה גיטל. לאחר מותה נישא בשנית לצינה זלמן מביאליסטוק.
בשנת 1928 עזב את טיקטין ועלה לארץ ישראל. הוא נתקבל בנמל יפו בנוכחות מאות אנשים, בעיקר מבני קהילתו טיקטין שהתגוררו בעיר.[4] בארץ ישראל לא כיהן במשרה רבנית והתמקד בלימוד וכתיבת חידושי תורה. הוא התגורר בתל אביב, בביתו ברחוב הגלבוע התקיימו מנייני תפילה, ו"בית הכנסת" הזה כונה "אוהל אברהם".
^ראו לדוגמה: יצחק לוין (עורך), אלה אזכרה ה, ניו יורק תשכ"ג, עמ' 197
^סבו של ר' יצחק אייזיק נקרא שמואל אליאשברג, אולם בשלב מסוים שינו בני המשפחה את השם ל"פינחס". בתחילה שינוי זה היה לצרכים רשמיים בלבד, והמשיכו להשתמש גם באליאשברג, אולם עם הזמן נשתקע השם אליאשברג. הרב אברהם צבי פינחס עצמו חתם תמיד בשם "פינחס", אולם ישנם מקורות המציינים בנוסף את השם "אליאשברג".
