סמולינג החל את הקריירה בקבוצת החובבים מיידסטון יונייטד(אנ'), שם ערך את הופעת הבכורה שלו בשנת 2007. הוא הפך במהרה לשחקן חשוב בקבוצה ולאחר סדרה של הופעות מרשימות הצטרף למועדון פולהאם שהייתה אז בפרמייר ליג באפריל 2008.
סמולינג ערך את הופעת הבכורה שלו בליגה הבכירה ב-24 במאי במשחק האחרון של עונת 2008/2009 בהפסד 0–2 לאברטון, ובעונה שלאחר מכן כבר הפך לשחקן מפתח בהרכב פולהאם. יכולתו הגבוהה הביאה להתעניינות מצד קבוצת מנצ'סטר יונייטד, ובחודש ינואר 2010 הודיע המועדון כי סמולינג חתם בשורותיו, אך יישאר בפולהאם עד לסיום אותה עונה. סמולינג הצטרף רשמית למנצ'סטר יונייטד ב-1 ביולי 2010, והופעת הבכורה שלו במועדון הייתה במשחק מגן הקהילה ב-8 באוגוסט בניצחון 1–3 על צ'לסי שבו יונייטד זכתה בתואר.
בעונתו הראשונה בקבוצה שימש סמולינג בעיקר כשחקן מחליף, אך מספר פציעות של שחקני הגנה אחרים הובילו אותו בהמשך העונה לתפוס מקום בהרכב. עם תחילת עונת 2011/2012 סמולינג הפך לשחקן משמעותי יותר בקבוצה, שהוא מתפקד כבלם או בעמדת המגן הימני, וכבש את שערו הראשון בפרמייר ליג ב-18 בספטמבר 2011, במשחק הניצחון 1–3 מול צ'לסי.