נולד לרב יצחק יעקב הכהן רזניק, בצעירותו התגורר בז'טל (אנ') ולפחות אחד מילדיו נולד בה. התגורר גם במייצ'ט מקום מגורי הורי אשתו, ונקרא על שם העיירה "רבי הירש מייצ'טער". התפרסם כמתמיד ושימש שנים רבות כראש ישיבה בסלונים. בקרב בני דורו היה נחשב כמי שידע לצטט בעל פה כל קטע בתלמוד הבבלי עם לשונם המדויקת של רש"י, תוספות, המהרש"א והמהר"ם.
למרות הצעות רבנות רבות שקיבל, הסכים לכהן רק כראש ישיבה כדי שיוכל להמשיך להתמיד בלימודיו. בשנת ה'תרנ"ד, 1894, התקבל לעמוד בראשות ישיבת "אוהל יצחק" בסובאלק, משרה בה החזיק במשך שמונה עשרה שנים עד פטירתו בי' בניסןה'תרע"ב, 28 במרץ1912.