אולמרט נולד באימפריה הרוסית, בעיר בוגורוסולן בחבל (גוברניה) של סמרה שעל הנהר וולגה למשפחה שישבה במקום דורות מספר.
אבי סבו של אולמרט היה קנטוניסט, נחטף בילדותו וגויס לצבא הצאר. לאחר שירות מאולץ בצבא במשך 25 שנים, שוחרר והתיישב בעיר סמרה על הנהר וולגה. שם המשפחה "אולמרט" הוא ככל הנראה שיבוש של שמו האמיתי מילדותו, שאותו לא זכר במדויק.
בעקבות המהפכה הבולשביקית ב-1917 נמלטה המשפחה למנצ'וריה שבסין והתיישבה בעיר ציציקר שליד חרבין. ב-1927 הצטרפה המשפחה לקהילה היהודית הגדולה של יוצאי רוסיה בעיר חרבין. מרדכי אולמרט, באותה עת בן 19 ומעריץ של זאב ז'בוטינסקי, נמשך לפעילות ציונית ויחד עם קבוצת צעירים שגיבש סביבו הקים ב-1929 את סניף בית"ר בעיר ועמד בראשו. התנועה קנתה אחיזה רחבה בקרב הצעירים היהודים בעיר, ובתוך זמן קצר הייתה לתנועה המובילה במקום. באותה תקופה הכיר אולמרט את בלה וגמן, פעילה נלהבת בתנועה, והשניים נישאו.
ב-1930 עזב אולמרט את חרבין, ולאחר שנים אחדות באירופה בהן למד חקלאות בהכשרה בהולנד, הגיע לארץ ישראל בשנת 1933 יחד עם רעייתו בלה. השניים הצטרפו למחתרת האצ"ל והיו פעילים במשימות נגד המנדט הבריטי. הם השתייכו לקבוצה קטנה יחסית של פעילים רוויזיוניסטים שקדשה את ערכי ההתיישבות החקלאית, ובמשך שנים אחדות נדדו בין משקים חקלאיים ביתריים שייסדו עם חבריהם לתנועה. במשק אותו ייסדו במבצר שוני, ששימש גם בסיס לפעולות האצ"ל, נולד השלישי מבין ארבעת בניהם, אהוד אולמרט, אח לעמרם וירמי הבוגרים ממנו. לאחר שנים אחדות עברו משם לייסוד ההתיישבות הביתרית החדשה "נחלת ז'בוטינסקי" בבנימינה, שם השתקעו ושם נולד בנם הרביעי יוסי. במקום הפעילו משק קטן שכלל כרם, מספר פרות ולול תרנגולות.
ב-1947 נשלח אולמרט על ידי מפקד האצ"ל מנחם בגין למסע גיוס תרומות בקרב הקהילות היהודיות בסין, בחרבין ובסביבתה. התרומות שגויסו שימשו למימון האונייה אלטלנה שמפקדה אליהו לנקין היה מקורב מאוד למשפחת אולמרט.
לאחר הקמת המדינה נרתם אולמרט לפעילות פוליטית בתנועת החרות. הוא עמד בראש תנועת ההתיישבות של חרות, וכיהן מטעמה כחבר כנסת בין 1955 ל-1961, בכנסת השלישית והרביעית. כאיש התיישבות עובדת היה במובנים רבים חריג בתנועה, וגם נודע כאפיקורס מוחלט הרחוק מערכי הדת והמסורת. ב-1955 הסתכסך אולמרט עם ראש התנועה מנחם בגין עליו הרבה למתוח ביקורת, ואולץ לוותר על כיסאו ולפרוש מן הכנסת. בהמשך הצטרף לקבוצת הפורשים בראשותו של שמואל תמיר שהקימה את המרכז החופשי והיה מזכ"ל המפלגה, אך לא כיהן מטעמה בכנסת.
את קורות חייו גולל מרדכי אולמרט בספרו האוטוביוגרפי "דרכי בדרך הרבים". בספרו הוא מספר כיצד נתגלגל ממשפחה מתבוללת ברוסיה למנהיג בית"רי בסין, גילה את שורשיו ועלה ארצה עם חזון של עיסוק בחקלאות.