נולד בגרוסוורדין שברומניה ליעקב דוב ולשושא, משפחת אביו היא מצאצאי הרב שלמה זלמן אולמן ממאקווא שבהונגריה, בעל "יריעות שלמה". סבו הוא הרב אלימלך גולדשטיין, מחבר הספר "אמירה יפה". בשנת 1960 עלה עם משפחתו לישראל. בצעירותו למד בישיבת פוניבז' בבני ברק ולאחר מכן בישיבת "בית יוסף צבי" דושינסקי בירושלים.
לאחר נישואיו מונה לראש כולל תרביצ"א בירושלים, למו"ץ בעדה החרדית ולאחר מכן לדיין בבית דין של העדה החרדית וכן כמכשיר מטעם מערכת הכשרות של הבד"ץ. כמו כן מכהן כרב בית הכנסת נר ישראל "זופניק" בשכונת גבעת שאול וכרב השכונה מטעם העדה החרדית. לאחר פטירת הרב יעקב בלוי, מונה במקומו להיות רבו של ועד הכשרות של העדה החרדית.
בנו הרב חיים צבי אולמן הוא ראש כולל לאקענבאך בירושלים, בנו השני הרב מאיר שמעון אולמן הוא מו"ץ מטעם העדה החרדית בבית שמש. אחותו שרה היא אלמנתו של הרב בנימין אייזנר, איש חינוך דתי-לאומי.