הסרט מתחיל בפלאשבק לילדותו של אינדיאנה, ביוטה של 1912. הנרי "אינדיאינה" ג'ונס הצעיר, (ריבר פיניקס) יוצא לסיור רכוב של הצופים בפארק הלאומי ארצ'ס ונתקל בשודדי קברים, שגילו צלב מוזהב, שהיה שייך לפרנסיסקו וסקס דה קורונדו. הוא גונב מהם את הצלב כדי להחזירו למוזיאון. השודדים רודפים אחריו על גבי רכבת קרקס מלאה בחיות ובסופו של דבר מצליחים לקחת ממנו את הצלב. במסגרת הפלאשבק הצופים מגלים כיצד קיבל ג'ונס את הצלקת שעל סנטרו (כאשר ניסה בפעם הראשונה להצליף בשוט שהיה באחד הקרונות), את הפוביה מנחשים (כאשר נפל לתוך בור מלא בהם), ואת כובע הפדורה החום (שניתן לו על ידי מנהיג כנופיית השודדים).
עיקר העלילה מתרחש בשנת 1938. ג'ונס (האריסון פורד) מצליח להחזיר לעצמו את הצלב, ונפגש עם אספן העתיקות וולטר דונובן (ג'וליאן גלובר), המספר לו על החיפושים אחר הגביע שממנו שתה ישו בסעודה האחרונה, הוא הגביע הקדוש, שלפי האמונה מעניק לכל השותה ממנו חיי נצח. דונובן מגלה לג'ונס כי אביו, ד"ר הנרי ג'ונס האב, ארכאולוג וחוקר עתיקות בפני עצמו, יצא לחפש את הגביע ונעלם. לאחר שאינדיאנה מקבל בדואר את היומן של אביו, העוקב אחר תעלומת הגביע, הוא מחליט לנסוע ולחקור את התעלומה.
הוא מגיע לוונציה יחד עם ידידו מרכוס ברודי (דנהולם אליוט), שם הוא פוגש את ד"ר אלזה שניידר (אליסון דודי), חוקרת יפהפייה המגלה גם היא עניין בגביע. ביחד הם מגלים קבר שהיה שייך לאביר מתקופת מסע הצלב הראשון, שעל מגינו נמצא הרמז המגלה את מיקום הגביע. אחרי הצמד רודפים אנשים השייכים לאחווה שנשבעה לשמור על סוד הגביע. לאחר מרדף בסירות מנוע ברחבי וונציה, מנהיג הכנופיה מספר לג'ונס שאביו שבוי בטירה בין גרמניה ואוסטריה. ג'ונס ושניידר מגיעים לטירה, ומגלים שהיא מבצר נאצי. ג'ונס מוצא את אביו (שון קונרי), אך ד"ר שניידר מתבררת כנאצית בעצמה, והאב ובנו נשבים בשנית. הם מצליחים לברוח, ונוסעים לברלין, להשיב את היומן שנגנב.
הם בורחים מברלין בצפלין, ונוסעים לכיוון העיר הטורקית איסכנדרון, הבנויה על חורבותיה של אלכסנדרטה, בה נמצא הגביע. בינתיים מגיע ברודי לאיסכנדרון ונפגש עם סלאח (ג'ון ריס-דייוויס), ידידו הוותיק של ג'ונס. ברודי נשבה בידי הנאצים, וג'ונס ואביו נפגשים עם סלאח במטרה לצאת אחריהם למדבר. לאחר מרדף ממושך במדבר, מגיעים הנאצים, ביחד עם שניידר ודונובן, למקדש שבו נמצא הגביע. החבורה של ג'ונס עוקבת אחריהם, ונתפסת שוב על ידי הנאצים. דונובן יורה בחזה של ג'ונס האב, במטרה לגרום לבן להיכנס פנימה עם הגביע, על מנת להצילו. על ג'ונס הבן לעבור שלושה מכשולים כדי להגיע לגביע, והוא עובר אותם בהצלחה. דונובן ושניידר עוקבים אחריו, ושלושתם מגיעים לחדר בו נמצא האביר השומר על הגביע כבר 700 שנים. עליהם למצוא את הגביע הקדוש מתוך מבחר גדול של גביעים. שניידר בוחרת עבור דונובן גביע מפואר במיוחד. הוא שותה את מימיו ומת מיד. ג'ונס זוכר שיוסף, בעלה של מרים אם ישו, היה נגר ולכן הוא בוחר גביע עץ צנוע ושותה ממנו. הוא משקה את אביו במי הגביע, והאב מחלים מפציעתו. האביר מסביר שהגביע הקדוש חייב להישאר במקדש, ושעליהם להישאר שם אם הם רוצים חיי נצח. שניידר מנסה להוציא את הגביע החוצה בניגוד להוראות האביר, ומביאה על עצמה את מותה. אינדיאנה ג'ונס, יחד עם אביו, ברודי וסלאח מצליחים לצאת מן המקדש, ורוכבים לעבר השקיעה.
