לאחר כיבוש ירושלים בידי הבריטים בדצמבר1917, החל השלטון החדש לתכנן את חזותה של ירושלים ואת מערכה העירוני. בימי השלטון העות'מאני שקדם לבריטים לא זכתה ירושלים אף לא לתוכנית אב אחת, וכל המבנים והשכונות שמחוץ לחומות נבנו באופן ספורדי, בהתאם לשיקוליהם ולתקציבם של הבונים.
הבריטים החליטו להעתיק באופן רשמי את מרכז העסקים הראשי של ירושלים מערבה, לאורך רחוב יפו. לצורך כך השמישו כמה עשרות דונמים של שדות וכרמים, בין שכונת נחלת שבעה ובית היתומות 'טליתא קומי', שנקנו מהיוונים-האורתודוקסים. עד אז נקרא השטח "גן אנטימוס", על שמו של נזיר יווני אורתודוקסי שעיבד שם את האדמה[1]. מומחים בריטיים עמלו על תכנונו של "משולש" רחובות גדול, שיהווה מוקד משיכה לבעלי עסקים ולקונים.
כבר ב-1922 נסלל הרחוב, שהתפצל בזווית חדה מרחוב יפו על יד נחלת שבעה ונמתח לכיוון דרום-מערב, לאורך "גן אנטימוס"[2], עד סמוך לבית טליתא קומי. שנתיים לאחר מכן, ב-1924, סללו הבריטים כביש נוסף בניצב לרחוב יפו, סמוך לבית החולים ביקור חולים, בכיוון צפון-דרום, ומגיע עד בניין טרה סנטה. רחוב זה, שנקרא על שם המלך ג'ורג' החמישי, התחבר לרחוב יפו ולרחוב האלכסוני, וכך הושלם "המשולש".
הרחוב האלכסוני, הראשון שנסלל במסגרת תוכנית המע"ר החדשה, תוכנן להיקרא על שם דמות מן התרבות הבריטית, אולם עם סיום סלילתו נפטר אליעזר בן-יהודה, מחייה שפה העברית, והבריטים החליטו להנציח את שמו ברחוב החדש. רחוב בן-יהודה התפתח מאוד והפך לאחד הצירים החשובים ביותר במרכז ירושלים. סביבותיו התמלאו בחנויות, משרדים וקומות מגורים.
סגירת הרחוב לכלי רכב ופיתוחו כמדרחוב הסתיימו ב-1983, לאחר תכנונים ודיונים רבים בשאלת יישום בנייתו. לאורך רחוב בן-יהודה, אשר היה ציר תחבורה חשוב במרכז העיר, היו תחנות מוניות רבות וגם הסוחרים עצמם לא העריכו את התועלת שבהפיכה למדרחוב. לבסוף, לאחר תכנון והכנות של למעלה מ-10 שנים, שכללו פיזור תחנות המוניות, הוקם המדרחוב והפך עם פתיחתו לאבן שואבת לתושבים ותיירים. תחום המדרחוב כלל, מלבד חלק מרחוב בן-יהודה עצמו (בקטע שבין כיכר ציון לרחוב המלך ג'ורג'), גם את רחוב בן הלל, רחוב לונץ ורחוב דורות ראשונים. חלקו העליון של רחוב בן-יהודה, בקטע שבין רחוב המלך ג'ורג' לרחוב בצלאל, המשיך לשמש תנועת כל רכב.
בסוף שנות התשעים עבר המדרחוב שיפוץ, כולל החלפת הריצוף כחלק משדרוג מרכז העיר.
החל משנת 2002 החלו להתקיים בו מדי קיץ אירועי "חוצות העיר" ויריד "חוצות היוצר" הועבר אליו, לצורך עידוד המסחר במרכז ירושלים, לאחר שזה נפגע קשות באינתיפאדה השנייה בשל מספר רב של פיגועי התאבדות שהתרחשו בו.
בקיץ 2005 הוחזר פסטיבל "חוצות היוצר" לבריכת הסולטן ליד העיר העתיקה, אך אירועים אחרים המשיכו להתקיים ברחוב מדי שנה. למן סיום האינתיפאדה בשנת 2004, החל המדרחוב לשקוק שוב חיים. מסעדות שסגרו את שעריהן בתקופת הפיגועים הגדולה נפתחו מחדש, ואליהן נוספו בתי קפה, פאבים ועסקים נוספים.
מדרחוב בן-יהודה שמר על עליונותו ומרכזיותו גם כשנפתחו בירושלים קניונים ואזורי מסחר אחרים, דוגמת קניון מלחה. בכך התבלט המדרחוב כרחוב ייחודי, אשר שומר על מעמדו המרכזי גם בשנות ה-2000 וזאת בניגוד לרחובות מסחר מרכזיים אחרים בארץ, כגון רחוב דיזנגוף בתל אביב ורחוב החלוץ בחיפה, אשר מאז תחילת שנות ה-90 זוהרם הועם.