בדצמבר 2016 בחר הנשיא הנבחר דונלד טראמפ את מאטיס לכהן כמזכיר ההגנה[11]. מכיוון שטרם עברו שבע שנים מיום שחרורו, הזדקק מאטיס לאישור מיוחד של לפחות 60 מחברי הסנאט של ארצות הברית על מנת להתמנות לתפקיד. ב-20 בינואר2017 אישר הסנאט את מינויו (ברוב של 98–1), והוא הושבע לתפקידו.
ב-22 במרץ 2017 אישר את השארת מעט הכוחות האמריקאים בעיראק שנותרו לאחר סיום קרב מוסול[12].
ב-20 בדצמבר 2018 הודיע מאטיס לנשיא טראמפ על התפטרותו אשר תיכנס לתוקף ב-1 בינואר 2019. התפטרותו באה על רקע התנגדותו של מזכיר ההגנה לנסיגה מסוריה ולמדיניות הצבאית הבדלנית של טראמפ[13].
ביוני 2020, במהלך הפגנות שנערכו בעקבות הריגתו של ג'ורג 'פלויד, מאטיס מתח ביקורת פומבית על טראמפ ותיאר אותו כ"נשיא הראשון בחיי שלא מנסה לאחד את העם האמריקני - אפילו לא מתיימר לנסות. במקום זאת, הוא מנסה לפלג אותנו"[15].
מאטיס תומך בתמיכה אמריקאית במערכה צבאית בהנהגת סעודיה נגד המורדים השיעים והחות'ים בתימן[17] ואף ביקש מהנשיא טראמפ להסיר את המגבלות על התמיכה האמריקאית בסעודיה במערכת הצבאית שהיא כבר מנהיגה.
בנובמבר 2018 ה-CIA העריך "בביטחון רב" כי יורש העצר הסעודי, בן סלמאן הורה להתנקש בחייו של כותב העיתונאי הסעודי ותומך האחים המוסלמים, ג'מאל ח'אשוקג'י, חרף לחץ של מחוקקים שרצו לפעול נגד הממשל הסעודי גם מטאיס וגם מזכיר המדינה האמריקאי, מייק פומפאו חלקו על מסקנות ה-CIA במהלך תדרוך סגור של הסנאט, בתדרוך הצהירו השתיים כי אין שום ראיות שקושרות באופן ישיר את יורש העצר לרצח ח'אשוקג'י[18].
יחסו לישראל
מאטיס הצהיר בעבר כי הוא תומך בפתרון שתי מדינות לשני עמים על מנת לפתור את הסכסוך הישראלי-פלסטיני[19]. לדבריו, המצב הנוכחי בישראל הוא "בלתי נסבל", וכי התנחלויות ביהודה ושומרון פוגעות בסיכויים לשלום ובביטחונה של מדינת ישראל. הוא שיבח את מאמציו של מזכיר המדינה ג'ון קרי לקדם הסכם שלום במזרח התיכון, ובפרט שיבח את קרי על היותו "ממוקד בחכמה כמו קרן לייזר" לעבר מטרת השגת שלום בין ישראל לפלסטינים[20]. בעת שימועיו בסנאט, אמר כי בירת ישראל היא תל אביב-יפו[21], זאת, לדבריו, בהמשך למדיניות האמריקנית לפיה ירושלים אינה מוכרת רשמית כבירת ישראל.