הרב רבינוביץ התיישב לזמן קצר בלוביץ', ולאחר מכן בוורשה. עוד בצעירותו החל להתלבש בלבוש חסידי, ובוורשה התפרסם כבעל מופת, החל לערוך טישים כמנהג האדמ"ורים, ולפיכך נודע בכינוי "דער ליטווישער רבי" או "דער מתנגדישער רבי" (הרבי הליטאי). בשנת ה'תר"ן (1890) יצא לאור ספרו "פרי דוד" מחדש, בתוספת חלק העוסק בחידושים על מסכת חולין בשם "ויוסף אהרן". ספרו "שם אנוש" על התורה התפרסם בשנת ה'תרס"ב (1902) בוורשה. החידושים בספריו מבוססים על שיטת רבו, הרב סולובייצ'יק, פיתוח מוקדם של שיטת בריסק.
בשנות חייו האחרונות סבל ממחלת ריאות קשה. נפטר בכסלו ה'תרפ"ב בגיל 68, ועל קברו בבית הקברות היהודי בוורשה הוקם אוהל.[1] בעלה של בתו דבורה, הרב מרדכי שרייבמן, הקים בוורשה ישיבה בשם "בית אהרן" על שם חתנו.
בנו, משה, הוציא מחדש את ספרי אביו, והוסיף מכתב היד של האב ספר על מסכת כתובות. את ספרו על מסכת פסחים "זכר לדוד" החל הרב יוסף אהרן רבינוביץ להדפיס בשנות חייו האחרונות, אך גליונות הדפוס אבדו במהלך השואה. ארבעה מדפי הספר מצא בנו, משה, והוא הוציאם בתוך ההדפסה המחודשת של "פרי דוד".
