Larsen spielte ab 1994 beim dänischen Verein Nyborg GIF Håndbold und wechselte vier Jahre später zum Erstligisten GOG Gudme, mit dem er in mehreren Spielzeiten am Europapokal teilnahm.[2] Zur Saison 2000/01 wechselte der Rückraumspieler zu Otterup HK. Während dieser Saison wurde er im Februar 2001 an einem spanischen Verein aus Saragossa verkauft.[3] Schon im Sommer desselben Jahres kehrte Larsen nach Dänemark zurück und spielte bei einem Zweitligisten aus Odense.[4] Nachdem der Grönländer wieder zu GOG Gudme zurückgekehrt war, schloss er sich später dem französischen Verein Saint-Raphaël Var Handball an, um ab dem Jahre 2006 erneut für GOG aufzulaufen.[5] Mit GOG gewann er insgesamt zwei dänische Meisterschaften.[6]
Nachdem GOG während der Saison 2009/10 Konkurs anmelden musste, unterzeichnete Larsen im Februar 2010 einen Vertrag beim Zweitligisten Faaborg HK.[7] Zusätzlich trainierte er parallel den Drittligisten Odense Håndbold.[8] 2011 fusionierte Faaborg mit Odense zum HC Fyn, bei dem Larsen als Spielertrainer tätig war.[9] Ab dem Dezember 2011 trainierte er zusätzlich die Damenmannschaft von HC Odense, die in der höchsten dänischen Liga spielten.[10] Nachdem Odense 2012 den Klassenerhalt gelungen war, übernahm Larsen das Traineramt der Herrenmannschaft von GOG Håndbold.[11] Unter seiner Leitung wurde GOG 2013 erstklassig. Im März 2013 übernahm er nochmals für einen kurzen Zeitraum den HC Odense, nachdem der bisherige Trainer Thomas Ørneborg entlassen wurde.[12] Seit der Saison 2017/18 trainiert er Nykøbing Falster Håndboldklub.[13] Unter seiner Leitung gewann Nykøbing Falster 2018 den dänischen Pokal.[14] Weiterhin erreichte seine Mannschaft in der Saison 2022/23 das Finale der EHF European League.
Jakob Larsen ist seit 2018 mit der dänischen Handballspielerin Kamilla Kristensen verheiratet.[15] Das Paar hat zwei gemeinsame Söhne.[16] Sein Bruder Rasmus ist ebenfalls ein bekannter grönländischer Handballspieler.[17]
