Ahlmann startede sin ungdomstid hos Brønderslev IF.[3] Som 13-årig blev han opdaget af AaB og skiftede til klubbens ungdomsafdeling. I 2006, to år efter hans skifte til AaB, tog han dog skiftet videre til FC Midtjylland, for at tørne ud for deres ungdomsakademi.[1] "Nu er det mit job. Men jeg ser det ikke som et rigtigt job, selvom jeg får penge for det. Det er jo det jeg kan li'. Men det er blevet en del mere seriøst, og det er ikke altid lige sjovt. Der følger en masse træning med" udtalte Jakob Ahlmann i forbindelse med et interview med Nordjyske13. maj2008, to år efter sin ankomst til FC Midtjyllands ungdomsakademi.[1]
AaB
I august2009 købte AaB ham fri fra FC Midtjylland og gav ham en professionel kontrakt.[4] Jakob Ahlmann fik sin Superliga-debut for AaB, da han blev skiftet ind d. 16. maj 2010 med 29 minutter tilbage i en kamp mod HB Køge. Debutkampen endte 0-0, og var hans eneste kamp i Superligaen 2009-10, som også var den sidste kamp i sæsonen, indskiftet af den daværende træner Magnus Pehrsson.[5] Han løb ind i en lang skadesperiode, der holdt ham ude i længere tid efter sin debut.[6] Det var hans lyske, som holdt ham ude af holdet.[7] Han spillede ingen kampe i Superligaen 2010-11.[8]
I begyndelsen af Superligaen 2011-12 bød Jakob Ahlmann sig igen til på førsteholdet, hvor Patrick Kristensen havde spillet på samme position. Lucho var hentet til klubben i sommertransfervinduet, som også kunne spille venstre back.[10][11] Jakob Ahlmann fik i denne sæson 17 kampe, hvoraf de 14 kampe var kampe hvor han spillede fuld tid.[12] I slutningen af sæsonen 2011-12 forlængede Jakob og hans bror Viktor Ahlmann begge med AaB, hvor Jakob Ahlmann havde skrevet under på en kontrakt, der strækker sig til 30. juni2016.[13][14]
Han udgik i en kamp mod FC Midtjylland med lysken den 17. august2012, som han også havde døjet med tidligere i karrieren, men skaden blev ikke betegnet som en alvorlig skade af ham selv.[15] Han var igen klar til at spille for AaB i den efterfølgende kamp, som foregik mod Odense Boldklub. Jakob Ahlmann spillede alle 90 minutter på banen for AaB, som endte med en 4-0 sejr til AaB.[16] I denne sæson spillede han 29 kampe for AaB ud af 33.[17]
Ahlmann fik for alvor sit gennembrud for AaB i 2013-14. Efter 29 runder havde Ahlmann spillet 24 kampe, hvoraf de 22 var på 90 minutter.[18] Efter 71 kampe[19] scorede Jakob Ahlmann sit første mål, da han scorede til 1-0 til AaB, som endte med en 2-0 sejr på udebane mod Viborg FF.[20][21][22] Jakob Ahlmann udtalte sig i forbindelse med sin første scoring at "det var utroligt dejligt at se den gå ind".[23] I denne sæson spillede AaB sig også til sit 4. danmarksmesterskab.[24][25][26] Jakob Ahlmann spillede alle 90 minutter i den afgørende kamp den 11. maj2014 om mesterskabet 13-14.[27] Kampen mellem FC Vestsjælland og AaB endte 0-0 på Slagelse Stadion,[28] samtidig med at FC Midtjylland og FC København spillede 2-3,[29] der samlet sendte mesterskabet i næstsidste runde til Aalborg. Han deltog desuden med 90 minutter på banen i DBU Pokalen 2013-14s finale, der endte med 4-2 til AaB over FC København i Parken den 15. maj2014.[30] Jakob Ahlmanns scorede kampens fjerde og AaB's tredje mål.[31] "Det er alt vildt. Det er svært at sætte ord på" udtalte Ahlmann sig til Ekstrabladet efter kampens afslutning.[32]
I efteråret 2014 blev Jakob Ahlmann korsbåndsskadet.[33] En skade som betød en lang pause. Ahlmann gjorde dog comeback med Hamborg i en træningskamp i sommeren 2015.
Han har desuden en lillebror, Viktor Ahlmann, som har været på kontrakt i AaB.[42] "Jeg tror, at Viktor bliver Superliga-spiller i AaB, men hvor langt talentet rækker derudover er svært at spå om allerede nu. Men der er højt til loftet" udtalte den daværende U/17-landstræner for Danmark, Thomas Frank, om Viktor Ahlmanns muligheder for fremtidig fodboldkarriere.[43] Kort efter, at sæsonen 2013/14 var afsluttet blev det offentliggjort at Frederik Børsting og Viktor Ahlmann ville blive rykket op på klubbens førstehold, omtrent samtidig med at Jeppe Curth og Anders Due stoppede i klubben.[44]