במהלך מלחמת העולם הראשונה השתכן ליד בית החולים בית חולים שדה גרמני, וכחמישים חיילים גרמנים שנפטרו בו נקברו בקרבת בית החולים האזרחי. חללים גרמנים רבים אחרים נקברו באתרים פזורים שונים בארץ ישראל.
ב-1928, בהתאם לתנאי חוזה ורסאי הגיעה ממשלת המנדט להסכם עם הקונסול הגרמני בארץ ישראל על הקמת בית קברות מרכזי שבו ייקברו כל החללים הגרמנים שנפלו בארץ ישראל (למעט אלו שנקברו בתחומי בתי קברות צבאיים בריטים).
ב-1934 רכשה ממשלת המנדט את השטח עבור בית הקברות והוא הוחכר לגרמניה ל-999 שנים. הוועדה הגרמנית לקברי מלחמה נטלה על עצמה את מימון בניית בית הקברות, שתוכנן על ידי האדריכל רוברט טישלר.[1] בית הקברות נחנך ב-30 ביוני1935. שרידי החיילים הגרמנים נאספו מרחבי הארץ והובאו לקבורה מסודרת במקום. חלקת הקבורה של החיילים הגרמנים שליד בית החולים הושארה על כנה.
בית הקברות סבל עם השנים מנזקים עקב הקרקע הלא יציבה שתחתיו, מרעידות אדמה שהתרחשו באזור וכן ממעשי גנבה וונדליזם.
בית הקברות שוכן במעלה גבעה בתחומו של בית החולים האיטלקי, בשטח של 1,200 מטרים מרובעים. עובדי בית החולים מתחזקים את המקום. הכניסה לבית העלמין אפשרית רק דרך בית החולים, והוא נמצא בתוך בית העלמין של מנזרבית החולים "המשפחה הקדושה".
מגדל ובו פעמון שהובא מגרמניה הוקם במקום, ועל קירותיו הפנימיים נתלו צלבים העשויים ממדחפי אווירונים.
