У дорослому футболі дебютував 2010 року виступами за команду «Фалу», де провів три сезони у нижчих лігах Швеції, взявши участь у 26 матчах чемпіонату.
Своєю грою за цю команду привернув увагу представників тренерського штабу клубу «Браге» з Бурленге, до складу якого приєднався 2012 року. 9 червня2012 року в матчі проти «Умео» Патрік дебютував у Супереттан[2]. У другому сезоні він завоював місце в основі команди.
Влітку 2013 року перейшов у АІК[3]. У першому сезоні Карлгрен не зміг виграти конкуренцію і не з'явився на полі жодного разу. 8 травня 2014 року в матчі проти «Гальмстада» Карлгрен дебютував у Аллсвенскан лізі[4]. Відтоді встиг відіграти за команду з Стокгольма 55 матчів в національному чемпіонаті.
Влітку 2024 року Карлгрен як вільний агент перейшов до французького «Нанта».[5]
