נולד בעיירה הסמוכה לעיר טרוקי, לרבי משה אהרון גורדון, שהיה שו"ב, תלמיד חכם ומלמד תינוקות. בצעירותו למד תורה מפי אביו. בשנת תרנ"ה, בהגיעו לגיל 12, החל ללמוד בישיבתו של הרב צבי לויטן בסלובודקה. כעבור שנה נכנס ללמוד בישיבת סלובודקה. עם פרוץ מחלוקת המוסר והפילוג בישיבה שבא בעקבותיה, עבר לישיבת כנסת ישראל שהקים רבו.
בשנת ה'תרס"ה נישא לצירל לאה בתו של רבי אליעזר שולביץ, תלמידו המובהק של רבי ישראל מסלנט ומייסד ישיבת לומז'ה. את השידוך הציע רבו הסבא מסלבודקה. תקופה קצרה לאחר חתונתו נסע לישיבת קלם, שם למד מפי רבי שמחה זיסל זיו, "הסבא מקלם". לאחר כשנה כשעמד לחזור ללומז'ה, כפי שהתחייב לאשתו, הגיעה אליו הבשורה כי אשתו נפטרה. רבי אליעזר, האב השכול, הציע לחתנו את בתו השנייה איידל דבורה לאישה, והוא הסכים להינשא לה לאחר שקיבל את ברכתו של החפץ חיים.
בלומז'ה
בשנת ה'תרס"ז נתמנה לר"מ בישיבת לומז'ה. בעת מלחמת העולם הראשונה בתקופה זאת נדדה משפחתו לרוסיה והוא המשיך להתמסר לישיבה ולתלמידים. בשנת ה'תרפ"ו, כאשר המצב הכלכלי של הישיבה היה בשפל, נסע לארצות הברית ושם גייס תרומות לאחזקת הישיבה. מהכספים שאסף נותר לו סכום כסף שאותו ייעד עבור הישיבה בפתח תקווה, שייסד חמיו, הרב שולביץ, בשנת ה'תרפ"ב.
בארצות הברית
בשנת ה'תרפ"ז הגיע לביקור בארץ ישראל ושהה במשך חצי שנה בפתח תקווה. בביקור זה מסר שיעורים בישיבה. עם שובו לפולין גילה כי מצבה הכלכלי של הישיבה שם החמיר. בשנת תרפ"ט נפטרה אשתו השנייה והוא נישא בשלישית לחוה בת שמואל יעקב פוגלמן. לאחר פטירתו נישאה חוה לרב יחזקאל אברמסקי.
בשנת ה'תרצ"ג, כאשר הישיבה עמדה בפני סכנה קיומית, למרות אבלו הכבד על פטירתה של אשתו השנייה ממחלת הסרטן, יצא הרב גורדון לאנגליה כדי לאסוף כסף. בשנת ה'תרצ"ה הגיע שוב לארצות הברית והצליח לסלק את כל חובות הישיבה. עקב הרוחות הרעות שהחלו מנשבות באירופה ביטל את חזרתו לפולין.
בחודש אלולה'תש"י עלה הרב גורדון לארץ והתיישב בפתח תקווה. הוא התמנה לראשות הישיבה בפתח תקווה מיסודה של לומז'ה לצידו של ראש הישיבה רבי ראובן כץ, כמו כן הקים "בית מוסר", על פי שיטתו של רבי ישראל מסלנט. שיעורו במוסר התקיים בכל יום שלישי בערב, ואליו הגיעו בנוסף לתלמידי הישיבה גם מבני העיר.
בנו, שניאור (תרע"ו-תרצ"ט, 1916–1939), הצטרף לתנועת הנוער "תורה ועבודה בפולין". בהמשך עלה לארץ ולמד בישיבת חברון. הצטרף לשורות ההגנה ולחיל הנוטרים ונהרג מפליטת כדור בעת מאורעות תרצ"ו-תרצ"ט.
