גוסטפסון נולד בווסטרוס, סיים את לימודי התיכון שלו בגימנסית ווסטרוס והמשיך לאוניברסיטת אופסלה, וקבל את תואר המוסמך (licentiate) בשנת 1960 ואת הדוקטורט שלו בפילוסופיה תאורטית בשנת 1978. ב-1982 היגר לארצות הברית ושם התגייר. הוא חי באוסטין, טקסס, עד שנת 2003, וחזר לשוודיה. משנת 1983 כיהן כפרופסור באוניברסיטת טקסס באוסטין, שם לימד פילוסופיה וכתיבה יצירתית, עד לחודש מאי 2006, עם פרישתו לפנסיה.
גוסטפסון היה אחד הסופרים השוודיים הפוריים ביותר מאז אוגוסט סטרינדברג. מאז סוף 1950 הוא הפיק זרימה שופעת של שירה, רומנים, סיפורים קצרים, מאמרי ביקורת, ומאמרי מערכת. הוא גם זכה להכרה בינלאומית עם פרסים ספרותיים במדינות רבות ובהם: צרפת (Prix International Charles Veillon des Essais) בשנת 1983, דנמרק (Heinrich Steffens Preis) בשנת 1986, איטליה (Una Vita per la Litteratura) בשנת 1989, אמריקה (John Simon Guggenheim Memorial Foundation Fellowship for poetry) בשנת 1994, ועוד. כן היה מועמד לפרס נובל לספרות. כתביו החשובים תורגמו ל-15 שפות וג'ון אפדייק שיבח את ספרו של גוסטפסון מותו של כוורן בספרו Hugging The Shore המכיל אוסף ביקורת ספרותיות.
מותו של כוורן, שנכתב בשנת 1978, הוא הרומן עטור התשבחות והמצליח ביותר של גוסטפסון.
ספרו The Cracks in the Wall (Sprickorna i Muren) עובד לסרט מסחרי שוודי.[1]
בעוד שבעיית הזהות נעשתה לנושא המגדיר את כתביו של גוסטפסון, הביקורת החברתית שלו לא פעם הכעיסה את האליטה התרבותית השוודית. כתוצאה מכך הוא נתפס כסופר שנוי במחלוקת בשוודיה ולא אומץ על ידי הממסד.
כשנשאל איפה הוא מוצא את ההשראה שלו, ענה גוסטפסון: "אני מקשיב. אני מקשיב ואני מסתכל. יצירתיות אינה יודעת כללים. אתה יכול לקבל את רעיון לרומן ממשהו שמישהו אומר קטן, או סתם פרצוף שאתה רואה. רב פעם אמר לי שכאשר אלוהים דבר אל משה בסנה, זה לא היה בקולו רועם, זה היה בקול חלש מאוד. אתה צריך להקשיב היטב לקול שאתה צריך להיות מאוד חד".
