בשנת ה'תרכ"ה נבחר לכהן כרבה של וולקוביסק מולדתו על כיסא הרבנות שעליו ישב בעבר אביו וכעת עמד פנוי מאז פטירת הרב האחרון, הרב יחיאל הלר. ברבנות זו החזיק במשך עשרים ושתים שנים עד פטירתו בליל מוצאי שבת י"ג בטבתה'תרמ"ז, 8 בינואר1887.
בוולקוביסק הקים ישיבה ובה לימד. סגנון לימודו הושפע משיטת הפלפול אך בהתאם לעקרונות בית המדרש הליטאי נצמד ליסודות ההגיון והסברה.
הוא פרסם את ספרו "לבני בנימין" ובו ארבעים ואחת "מערכות" בנושאים שונים, בשנת ה'תר"ל, 1870. חידושים מכתב ידו נדפסו לאחר פטירתו בכתב העת הפלס. לפי הרב יצחק אייזיק הלוי הרצוג הצטיין הרב דיסקין במשחק השחמט[2].
משפחתו
בתו מינדל צירל התפרסמה בליטא בחכמתה וביופיה, היא נישאה לאיצ'ה לעוו[3] שהיה בעל נכסים בוולקוביסק ובשל עושרו כונה "הגביר האדיר". ולאחר פטירתו נישאה בשנית לאחיו הצעיר של אביה, הרב נח יצחק דיסקין מלומז'ה[4]
בנו היה נחום צבי גולדשטיין, שכתב בעיתונות העברית בת התקופה בפסבדונים נח"ץ[5].