את הקמת המוזיאון יזם הרב מרווין האייר, שיזם הקמת מוזיאון דומה גם בלוס אנג'לס, שנחנך ב-1997[5]. לצורך הקמת מוזיאון הסובלנות תרמה עיריית ירושלים את השטח שהוקצה למגרש החנייה. בדצמבר 2000, אישרה הוועדה המקומית לתכנון ולבנייה בירושלים את תוכנית הקמת המוזיאון[6]. כעבור שנה, בדצמבר 2001, אושרה התוכנית סופית כשקיבלה תוקף מוועדת המשנה המחוזית להתנגדויות, לאחר שנקבע כי המוזיאון יופעל כמוזיאון מוכר על פי חוק המוזיאונים ויפעל כרשות ציבורית ולא כמוזיאון פרטי. החלטה זו נבעה מהתנגדות שהגיש מוזיאון יד ושם, שחשש כי מוזיאון זה יעסוק בין היתר גם בנושאים הקשורים לשואה. לתוכנית הוגשו בסך הכל שלוש התנגדויות: התנגדות טכנית, התנגדות של תושב הגר בסמוך, והתנגדות מוזיאון יד ושם[7].
ב-23 בנובמבר 2002 נערך טקס הסרת הלוט מעל דגם המבנה בבית הנשיא בירושלים. עיצוב המוזיאון בתכנונו המקורי נעשה על ידי האדריכל פרנק גרי ונחשב לייחודי בישראל, ועל כן זכה לתומכים ומתנגדים רבים, עוד בטרם נבנה. העיצוב יוצא הדופן התבטא גם בצורתו האמורפית והמיוחדת, כמו גם בציפוי החדשני בזכוכית ובטיטניום; העיצוב הזכיר את מוזיאון גוגנהיים בבילבאו, אף הוא פרויקט של פרנק גרי. עלותו הגבוהה של המוזיאון, בשל העיצוב והציפוי הייחודי, הרקיעה עד לכ-200 מיליון דולרים, מכספי תרומות ומכספי מרכז שמעון ויזנטל[5].
בין תומכי העיצוב הייחודי המקורי (של המרכז ושל המוזיאון) נמנו גם ראשי העירייה לשעבר אהוד אולמרט ואורי לופוליאנסקי; תומכי התוכנית טענו כי עיצוב זה ימשוך תיירות לירושלים, יחזק אותה בתיירים רבים ויביא תמורה כלכלית. מתנגדיה טענו כי ירושלים אינה זקוקה למונומנט נוסף ומוזיאון בעיצוב כזה, הדורש ציפוי בחומרים שאינם נפוצים בעיר, שיהיה נטע זר בהשוואה לבנייה בנחלת שבעה, המאופיינת בבניית אבן נמוכה וברחובות צרים[8].
בניית המרכז החלה ביוני 2005 לאחר קבלת השטח מעיריית ירושלים[11], כשמוריה, חברת הפיתוח העירונית, החלה בעבודות חפירה באתר[12]. בדצמבר 2005 ערכה רשות העתיקותחפירת הצלה באתר, במימון מרכז ויזנטל, כדי לפנות את השטח לבניין. במהלך חפירת ההצלה, שנוהלה על ידי הארכאולוג גדעון סולימני, נמצאו כאלף שלדי אדם[13]. כבר בהתחלת הבנייה התנגדו לה ארגונים מוסלמיים, בגלל הקמת המוזיאון על חניון עירוני שהיה בעברו חלק משטח בית קברותמוסלמי עתיק - בית הקברות ממילא. ארגונים אלו תבעו את הפסקת העבודות וזכו לצו הקפאת תהליכי בנייה מבית המשפט העליון, שדרש תהליך גישור בין הצדדים[14]. נציגי המוזיאון הציעו לשפץ ולהעביר את הקברים למקום אחר על חשבונם. ב-29 באוקטובר2008 קבע בית המשפט העליון כי אין מניעה להמשיך בבניה[15]. לאחר החלטת בג"ץ לאשר את הקמת המוזיאון נשכר הארכאולוג אלון שביט, באמצעות חברה פרטית שבבעלותו, לפנות את הקברים והשלדים שבאתר[16].
בינואר 2010 הודיע האדריכל פרנק גרי כי בחר שלא להיות מעורב יותר ונסוג מעיצוב ותכנון המוזיאון[17]. בספטמבר באותה שנה התפרסם כי משרד חיוטין אדריכלים זכה בתחרות הפנימית לתכנון מחודש של המוזיאון[18].
ב-12 ביולי2011 אישרה הוועדה המחוזית לתכנון ובנייה בירושלים את הקמת מוזיאון הסובלנות לפי התוכנית החדשה, ועבודות הכשרת השטח באתר חודשו[19]. בינואר 2012 נודע שגם משרד חיוטין אדריכלים נטש את הפרויקט בשל עיכוב בתשלומים וסכסוך עם מרכז שמעון ויזנטל העומד מאחורי הקמת המוזיאון, מה שהביא לעיכוב נוסף של הפרויקט[20]. הפרויקט נמסר לתכנון משותף של משרד האדריכלים יגאל לוי מירושלים, בשיתוף עם משרד האדריכלים Aedas הבריטי-סינגפורי; ביולי 2013 התקבל היתר הבנייה האחרון למוזיאון, בעיצוב המחודש.
מרבית הקמת המבנה הושלמה חלקית ב-2019; במאי אותה שנה נערך שם האירוע הראשון: אנשי העסקים לארי מייזל ומייקל שטיינברג, שתרמו כ-260 מיליון דולר להקמתו, ערכו במוזיאון אירוע הצדעה לכבוד איש העסקים מוריס קאהן[21]. על פי התכנון, המשרד צפוי להיפתח בספטמבר2024[2].
המוזיאון כולל, בנוסף לאודיטוריום, גם בית כנסת, מסעדות, כיתות לימוד וחללים לשני תת-מוזיאונים: אחד למבוגרים ואחד לילדים.
בהמשך מתוכננת בניית אגף חיצוני נוסף למוזיאון, מעבר לכביש, באזור "כיכר החתולות"; זה יהיה מבנה ציבור בן ארבע קומות עם מלון בוטיק לאירוח אנשי רוח, וכן חדרי סדנאות ופעילות לצעירים במסגרת המוזיאון.