Η επαγγελματική του καριέρα ξεκίνησε το 2003 από την Άντερλεχτ, με την οποία κατέκτησε δύο πρωταθλήματα Βελγίου. Το 2006 υπέγραψε στο Αμβούργο,[1] όπου έμεινε για δύο χρόνια.
Από το 2008 έως το 2019 ήταν παίκτης της Μάντσεστερ Σίτι[2] και κέρδισε τέσσερα πρωταθλήματα Αγγλίας (2012, 2014, 2018 και 2019), τέσσερα Λιγκ Καπ Αγγλίας (2014, 2016, 2018 και 2019), δύο Κύπελλα Αγγλίας (2011 και 2019) και δύο Κομιούνιτι Σιλντ (2012 και 2018). Επίσης, έχει ανακηρυχθεί παίκτης της Πρέμιερ Λιγκ για τη σεζόν 2011-2012,[3] ενώ έχει αναδειχθεί τρεις φορές στην καλύτερη ενδεκάδα της Πρέμιερ Λιγκ (2010–11, 2011–12 και 2013–14).[4] Επίσης, ο Κομπανί ήταν αρχηγός της Μάντσεστερ Σίτι[5] από τη σεζόν 2011-2012 μέχι την αποχώρησή του.
Το 2019 επέστρεψε στην Άντερλεχτ, στην οποία είναι παίκτης-προπονητής.[6]