בשנת 1943 התגייס לצבא הבריטי, ושירת כרב צבאי ביחידות הארץ-ישראליות. במסגרת שירותו סייע לניצולי השואה. בין היתר פקד את מחנה אל שאט שריכז פליטים ליד תעלת סואץ שחלק קטן מהם היו יהודים.[1]
הרב גולדמן ביקר במחנה בגילגיל שבקניה, בו נעצרו 251 מחברי המחתרות; בבית הסוהר לנשים בבית לחם בו נאסרו ונעצרו חברות המחתרות, בכלא עכו ובכל כלא בו היו עצורים יהודים. הרב גולדמן נתבקש לבקר במחנות המעצר בקפריסין, ולעשות להרגעת הרוחות של ניצולי השואה שהוגלו לשם. לאחר מכן התבקש לסייע למוסדות היישוב בהסברה ציונית בארצות הברית, בלשון האנגלית, ופעל נמרצות לאיסוף כספים במסגרת ה-UJA.
בזמן אכלוסה מחדש של העיר העתיקה, לאחר מלחמת ששת הימים, הביא לאכלוסם של חלק מהבניינים שבבעלות יהודית ברובע המוסלמי. הוא הירבה להדגיש, שרובע זה היה יותר יהודי מהרובע השכן המכונה "יהודי", ושיש לעשות להחזרת העטרה ליושנה. אחת מפעולותיו הראשונות הייתה הכנת סקר ומפה של המבנים היהודיים באזור רחוב חברון (היום נקרא רחוב מעלה חלדייה) ושאר המקומות שבין החומות בהם גרו יהודים עד לשנת תרצ"ו. לאחר מכן דרבן את בעלי הבתים היהודיים באזור לשקמם וליישבם ביהודים כבעבר.