Großkreutz kisebb dortmundi csapatokban kezdett el futballozni, mielőtt felfigyelt volna rá a Borussia. 2002-ig játszott a Borussiában, amikor 14 éves korában a Rot Weiss Ahlenhez igazolt (a csapatot akkoriban LR Ahlennek hívták). Az ahleni klubnál végigjárta a korosztályos csapatokat, majd 2006-ban bemutatkozott a felnőtt csapatban is. Még ugyanebben az évben stabil játékosává vált a Regionalliga Nordban (a német harmadosztály északi csoportjában) szereplő gárdának. 2008-ban az Ahlen feljutott a Bundesliga 2-be, ahol Großkreutz 12 góljával csapata második legeredményesebb játékosa lett és a Kicker sportmagazin beválasztotta a szezon legjobb tizenegyébe.
2009. január 24-én hároméves szerződést kötött a Borussia Dortmunddal. Itt rövidesen alapemberré vált. Első gólját a Bundesligában 2009. december 5-én lőtte az 1. FC Nürnberg elleni találkozón. A következő szezon végén, 2011-ben német bajnoki címet szerzett a Dortmunddal.A 2012-13-as szezon végén UEFA-bajnokok ligája döntőjébe jutott a Borussiával, ott azonban 2-1-es vereséget szenvedtek az FC Bayern Münchentől. 2015 nyarán Thomas Tuchel már nem számított rá, így a Galatasarayhoz szerződött, ott azonban egy meccset sem játszhatott, mert a török klub hiányosan adta be az átigazolási papírokat a Nemzetközi Labdarúgó-szövetségnek. 2016. január 6-án a Stuttgart bejelentette a szerződtetését. 2017 nyarán az SV Darmstadt 98 játékosa lett.[2]2018 júliusában 2021-ig szóló szerződést írt alá a harmadik vonalba feljutott Uerdingen csapatával.[3]
Großkreutz nemcsak játékosa, de gyerekkora óta hatalmas szurkolója is a Borussiának. Dortmundban nőtt fel és a mai napig ott él. Unokatestvére, Marcel Großkreutz szintén labdarúgó, jelenleg az ASC 09 Dortmund játékosa.
