נולד בשנת 1854 בכפר הקטן יאקובסדורף (עכשיו יוקובאוואס (ליט'), מחוז משנה קרטינגה, ליטא). עוד משחר ילדותו בלט בו כישרון יוצא דופן, ובגיל תשע כבר למד גמרא בעיון בכוחות עצמו. הוא היה יתום, וקרובי משפחתו שלחו אותו לטרישיק, שבה למד עם הרב המקומי, הרב לוי שפירא, בנו של הרב אריה לייב שפירא.
בהמשך עבר ללמוד אצל הרב יוסף רוזין, שהיה אז רבה הראשי של טלז. בעת שהיה הרב אופנהיים בטלז, עוד כשהיה בחור צעיר, היה ידוע כבר כתלמיד חכם גדול, הרב שמחה זיסל זיו מינה אותו לראש ישיבת המוסר. לאחר כמה שנים, חזר לטלז ולימד תלמוד לתלמידים בקבוצה שבה הוא עצמו למד פעם. בין 1881 ל-1882 כיהן כרב בציטוביאן.
בשנת 1883, הרב אליעזר גורדון ויתר על רבנות קלם ולאחר תקופה קצרה בסלבודקה, הפך לרב בטלז. באמצעות התערבותו של הרב גורדון, הרב אופנהיים התמנה לרב החדש של קלם בן עשרים ותשע.
הרב אופנהיים כיהן כרב בקלם במשך ארבעים ושלוש שנים עד לפטירתו ביום חמישי, כ"ז בשבטה'תרפ"ו, בהיותו בן 72.
