ארתור הולי קומפטון נולד בווסטר, אוהיו שבארצות הברית. משפחתו הייתה משכילה: אביו, אליאס, היה דיקן אוניברסיטת ווסטר בה אף למד קומפטון עצמו; אחיו הבכור, קרל טיילור, למד באוניברסיטה זו והיה לפיזיקאי, ולימים לנשיא MIT; ואחיו השני, וילסון, היה לדיפלומט ולנשיא מכללת מדינת וושינגטון.
עד 1918 חקר את סיבוב כדור הארץ ולאחר מכן פנה לחקור את פיזורן של קרני רנטגן. בשנת 1922 גילה כי אורך הגל של קרניים אלו גדל עקב פיזור האנרגיה על ידי אלקטרונים חופשיים. האנרגיה של הקרניים שהתפזרו הייתה קטנה מזו של הקרן המקורית. בזכות גילוי זה, הידוע בשם אפקט קומפטון (או "פיזור קומפטון"), זכה קומפטון בפרס נובל לפיזיקה בשנת 1927.
מיד לאחר המתקפה על פרל הארבור ב-7 בדצמבר 1941, הצליח קומפטון לגייס תמיכה במחקר להפקת פלוטוניום במעבדה המטלורגית של אוניברסיטת שיקגו. לוח הזמנים היה צפוף מאחר שהמטרה הייתה לייצר פצצת אטום עד ינואר 1945 (מטרה שהושגה לבסוף באיחור של חצי שנה). המחקר כלל ניסיונות ליצור תגובת שרשרת גרעינית של אורניום ולהמירו לפלוטוניום, להפריד את האורניום והפלוטוניום, ולבסוף לתכנן פצצה. ב-2 בדצמבר 1942 הצליח צוות המעבדה, בניהולו המדעי של אנריקו פרמי, ליצור לראשונה תגובת שרשרת גרעינית מבוקרת. היה זה השלב הראשון בפיתוח הפצצה, והידיעה הועברה בטלפון למרכז בוושינגטון במשפט הצופן המפורסם "יורד הים האיטלקי הגיע לעולם החדש".
שנים מאוחרות
אחרי המלחמה חזר קומפטון לאוניברסיטת וושינגטון, ומונה לנשיאה התשיעי ב-1946. בזמן כהונתו ערך רפורמות וייסד תקדימים, ביניהם מינוי ראשון של אישה למשרת פרופסור. בעזרת קשריו הרבים ובזכות המוניטין שיצא לו הצליח לגייס מדענים ידועים רבים לשורות המוסד. אולם על אף הישגיו אלו, הוא ספג ביקורת על כך שהאוניברסיטה הייתה האחרונה בסנט לואיס שקיבלה לשורותיה תלמידים אפרו-אמריקאים. הוא התפטר מתפקידו כנשיא האוניברסיטה ב-1953, אך נשאר בפקולטה לפיזיקה עד פרישתו ב-1961.
קומפטון נקבר בווסטר שבאוהיו. מכתש על הירח נקרא על שמו ועל שם אחיו קרל.