יוסף משה שכטר נולד בהונגריה בעיר מישקולץ לצבי שכטר (מצאצאי התוספות יום טוב) ולשיינדל בת נתן שוורץ. הוריו נפטרו במגפת כולירה, והוא גודל אצל דודו יעקב שכטר.
בהונגריה כתב בקביעות בעיתונים: "זשירא אנישאג" ו"סומבטי ארטאשיטי".
בשנת 1939 עלה לארץ ישראל, ייתכן והצטרף אל תלמידים נוספים שבאו יחד עם ראש ישיבת פרשבורג ר' עקיבא סופר בעקבות סגירת הישיבה בצ'כוסלובקיה ערב פרוץ השואה בה, והקמתה מחדש בישראל[1].
מצבת קברו של הרב שכטר בהר הזיתים
.
בשנת 1940 התחתן עם אסתר בת הרב אברהם חיים שאג - אישיות ציבורית מראשי תנועת המזרחי וח"כ בכנסת הראשונה. לזוג נולדו ארבעה ילדים.
שימש בתפקידים שונים במשרד הדתות, וכן בתפקיד ברבנות הצבאית.
היה הרב של קהילת "שירת ישראל", חבר הנהלת קריית "חתם סופר", חבר הנהלת הארגון הארצי למען השבת, וכן במועצת החברה קדישא גחש"א לקהילת ירושלים.
פרסם מאמרים בעיתונות הישראלית. ערך את "ידיעות המועצה למען השבת".
הופיע כנואם פעמים רבות מטעם עיריית ירושלים בבית-העם, וכן היה מרצה במקומות שונים בארץ.[דרוש מקור]
בסוף סיון תשכ"ז (תחילת יולי 1967), הועבר הכותל המערבי מידי צה"ל לשלטונות האזרחיים ושכטר מונה לרב הכותל מטעם הרבנות הראשית לישראל על ידי הרבנים אונטרמן ונסים בהתאם לחוק השמירה על המקומות הקדושים, תשכ"ז-1967, שפורסם ברשומות מספר ימים קודם לכן[2]. בתוקף תפקידו עיצב את כללי המקום במתכונת הנהוגה עד היום ויצק תוכן לתפקיד בשמשו ככתובת הלכתית למבקרי המקום וכדמות רבנית ייצוגית.
בתקופת כהונתו של הרב שכטר חלו במתחם הכותל בין היתר גם השינויים המבניים הבאים:
לקראת תשעה באב תשכ"ז התחיל חיל הנדסה בהתקנת פנסים וזרקורים להארת המקום כדי שאפשר יהיה לשהות בו גם בלילה, וכן נהרסו מבנים אשר נמצאו בסכנת התמוטטות. בתקופה זו התמנה האדריכל יוסף שנברגר לשמש יועץ שר הדתות לפיתוח רחבת הכותל. פרופסור בנימין מזר מונה לשמש כראש המשלחת הארכאולוגית לחפירות בכותל הדרומי ובכותל המערבי. כמו כן העמיקו את רחבת הכותל במטר וחצי וריצפו אותה באבנים.
באוגוסט 1968 הודיע הרב שכטר על החלטתו לאסור על צלמים המציעים לתיירים לצלם אותם ליד הכותל תמורת תשלום לפעול ברחבה התחתונה של הכותל המערבי, עקב תלונות תיירים על היותם מטרד[3].
