קריירת המשחק של פרגוסון החלה כחובבן בקבוצת קווינס פארק(אנ'), בה ערך את הופעת הבכורה שלו כחלוץ בגיל 16. הוא תיאר את משחק הבכורה שלו כסיוט על אף שכבש בהפסד 1–2 לסטראנר(אנ'). באותה עונה כבש 20 שערים ב-31 משחקים.
פרגוסון לא הצליח לשמור על מקום קבוע בהרכב ועבר לסנט ג'ונסטון(אנ') בשנת 1960, אך אף על פי שהבקיע בקביעות, עדיין לא מצא מקום קבוע בהרכב וביקש העברה.
בקיץ 1964 חתם פרגוסון בדנפרמליין אתלטיק(אנ'), והפך לכדורגלן מקצועי. הקבוצה הייתה אחת החזקות בליגת העל הסקוטית והגיעה לגמר הגביע הסקוטי, אך הפסידה לסלטיק 3-2. פרגוסון לא נכלל בסגל לגמר לאחר ביצועים גרועים במשחק ליגה נגד סנט ג'ונסטון.
בעונת 1965–1966 כבש פרגוסון 45 שערים ב-51 משחקים עבור דנפרמליין וסיים כמלך השערים ביחד עם ג'ו מקברייד (אנ') מסלטיק, עם 31 שערים, אך לא זכה בשום תואר.
ב-1967 הצטרף לגלאזגו ריינג'רס בסכום של 65,000 ליש"ט, שיא העברות בתקופה זו בין שני מועדונים סקוטיים.
כשחקן כדורגל, לא נחשב פרגוסון ככשרוני במיוחד, אף שרשם לעצמו עונה מוצלחת בגלאזגו ריינג'רס ונקרא לשחק בשורות נבחרת סקוטלנד.
קריירת אימון
לאחר פרישתו ממשחק הוא החל לעבוד כמאמן. ביוני 1974 מונה למנג'ר איסט סטירלינגשייר(אנ') מהליגה השנייה בסקוטלנד כשהוא בן 32. כבר באוקטובר באותה שנה הוא עבר לאמן את סנט מירן שדורגה מתחת לאיסט סטירלינגשייר בטבלה. בעונת 1976/77 העפיל עם סנט מירן לליגת העל הסקוטית, אך ב-1978 פוטר מתפקידו.
אברדין ונבחרת סקוטלנד
פרגוסון מונה למאמן אברדין לעונת 1978/79, שאותה סיימה הקבוצה במקום הרביעי בליגה, הפסידה בגמר גביע הליגה הסקוטי והודחה בחצי גמר הגביע הסקוטי. בעונתו השנייה הוביל פרגוסון את אברדין לאליפות סקוטלנד, ובכך שבר את ההגמוניה של סלטיק וגלאזגו ריינג'רס. באותה עונה הפסידה אברדין בגמר גביע הליגה לדנדי יונייטד. בעונות 1981/82 עד 1983/84 הוליך את אברדין לשלוש זכיות רצופות בגביע הסקוטי. בעקבות הזכייה בגביע השתתפה אברדין בעונת 1982/83 בגביע המחזיקות ואף זכתה בו אחרי ניצחון על ריאל מדריד במשחק הגמר. ב-1983/84 זכתה אברדין בדאבל כשזכתה גם באליפות, ובעונה שלאחר מכן זכתה באליפות שנייה ברציפות. ב-1985/86 זכתה אברדין בגביע נוסף וכן בגביע הליגה.
לאחר הצלחתו כמאמן אברדין, מונה פרגוסון ב-1985 למאמן נבחרת סקוטלנד במקומו של ג'וק סטין (אנ') שנפטר מהתקף לב לאחר העלייה למונדיאל 1986. פרגוסון אימן את הנבחרת במונדיאל עצמו, שם הודחה בשלב הבתים.
מנצ'סטר יונייטד
בשנת 1986 הגיע למנצ'סטר יונייטד. פרגוסון הפך את יונייטד ממועדון בינוני עם עבר מפואר לאחד מהמועדונים הטובים בעולם, זאת על אף שבשנים הראשונות חווה קשיים. בשנת 1990 הוזכר פרגוסון בעיתונות האנגלית כמועמד לפיטורים, אך זכייתה של יונייטד בגביע האנגלי - התואר הראשון שלו במועדון, נחשבת כזו שהצילה את משרתו. בשנת 1991 זכה עם יונייטד בגביע אירופה למחזיקות גביע לאחר ניצחון על ברצלונה. ב-1992 רכש פרגוסון את החלוץ הצרפתי אריק קנטונה מלידס יונייטד, ובסיום אותה עונה, 1992/3, זכתה יונייטד באליפות לראשונה מזה 26 שנים, ומשם החל רצף ההצלחות המשמעותי של פרגוסון. עונת השיא של פרגסון ויונייטד הייתה 1999 בה הקבוצה זכתה ב"טרבל": אליפות, גביע ה-FA וגביע האלופות. במשחק הגמר הדרמטי נגד באיירן מינכן הגרמנית הצליחה יונייטד לחזור מפיגור של שער בזכות טדי שרינגהאם שנכנס כמחליף והשווה בדקה ה-90 לאחר קרן של דייוויד בקהאם. אולה גונאר סולשיאר כבש שער ניצחון בתוספת הזמן מעוד קרן של בקהאם. המלכהאליזבת השנייה החליטה להעניק לפרגוסון את תואר האבירות סר בעקבות הישגי אותה עונה. בשנת 1999 נבחר כמאמן השנה של ה-BBC.
פרגוסון הודיע שיעזוב את יונייטד בשנת 2002, אך תוך זמן קצר שינה את דעתו וחתם על חוזה חדש. פרשנים טוענים כי הכישלון של יונייטד בשנה זו הביא את פרגוסון לשנות את ההחלטה, מכיוון שרצה לפרוש בשיא לאחר זכייה בתואר כלשהו.
אלכס פרגוסון הוביל את מנצ'סטר יונייטד לאליפויות רבות ולשני גביעי אירופה, אך רבים טוענים שההישג הגדול ביותר שלו הוא שהצליח לבנות 3 שושלות של שחקנים בקבוצה, על אף השינויים הרבים והתהפוכות בעולם הכדורגל.
בשנת 2008 פרגוסון זכה עם יונייטד פעם נוספת בליגת האלופות, לאחר שקבוצתו גברה על צ'לסי בדו-קרב פנדלים.
בשנת 2011 הוביל פרגוסון את מנצ'סטר יונייטד לזכייה באליפות נוספת בפער של 9 נקודות יותר מצ'לסי, שסיימה שנייה בטבלה. הייתה זו האליפות ה-19 של המועדון ששבר את שיא הזכיות באליפות אנגליה. באותה עונה הגיע פרגוסון עם יונייטד לגמר ליגת האלופות פעם נוספת לאחר שגבר על צ'לסי ברבע הגמר ועל שאלקה 04 בחצי הגמר, אך הפסיד לברצלונה בתוצאה 1–3.