עד להקמתו של "יד הרב הרצוג" פעלו שני המוסדות בנפרד. מעת פטירתו של יוזם שני המוסדות – הרב מאיר ברלין (בר-אילן) - בשנת תש"ט נרתמו יחדיו הרב הראשי לא"י, הרב יצחק אייזיק הלוי הרצוג, יחד עם הרב הרברט גולדשטיין (חתנו של הארי פישל) לסייע בביסוס המוסדות. לשם כך הוקם ארגון-על בשם אמ"ת (איחוד מפעלים תורתיים ספרותיים) וגויס ההון ההתחלתי להקמת מבנה מתאים. הבניין נחנך בשנת תשכ"ג, לאחר פטירתו של הרב הרצוג, ואז הוסב שמה של עמותת-העל לשם "יד הרב הרצוג".
למעלה משלושים שנה פעלו מוסדות "יד הרב הרצוג" מתוך הבניין שעמד במבואות שכונת בית וגן, מול הר הרצל. הספרייה ששירתה את שני המוסדות הלכה והתרחבה וכללה בתוכה גם עותקים נדירים. ככזאת היא שימשה כר פעולה נוח למפעל "אוצר החכמה" שצילם בה רבים מן הספרים שבמאגר הממוחשב שלו. קשיים כספיים של שלהי שנות התשעים ושנות העשור הראשון למאה ה-21 הובילו לצורך למכור את הבניין, ומעבר של "יד הרב הרצוג" על שני מוסדותיו לבניינה של הסתדרות "ישורון", במרכז העיר ירושלים.
עוד קודם לפטירתו של הרב יהושע הוטנר (ניסן תשס"ט), שניהל את המוסדות במשך למעלה מ-65 שנה, מונה הרב פרופסור אברהם שטינברג לנהל את "יד הרב הרצוג", ולעמוד בראש המערכת של האנציקלופדיה התלמודית.
"יד הרב הרצוג" נטל על עצמו את שמירת זכרו של הרב יצחק אייזיק הלוי הרצוג, הרב הראשי לארץ ישראל. בחורף תשס"ט, במלאת חמישים שנה לפטירתו, נערך כנס בינלאומי להלכה יישומית לזכרו של הרב, ואשר עסק בצדדים היישומיים של ההלכה בתחומים שונים. לקראת הכנס הוצא לאור הספר "משואה ליצחק" הכולל דברים לזכרו של הרב, ודברים ממנו עצמו. לאחר הכנס רוכזו חלק גדול מההרצאות שנישאו בכנס, ואלה נדפסו בכרך השני של "משואה ליצחק".
"יד הרב הרצוג" היה שותף להוצאה לאור של כתביו - פסקיו והשו"ת של הרב הרצוג (9 כרכים), ספרו "תחוקה לישראל" (3 כרכים), ותרגום מאמריו מאנגלית, "יהדות, חוק ומוסר".
