Fondé le sous le nom de Gefle Sportsklubb, le club changera de nom 6 mois plus tard () avec l’arrivée de son premier président, le lieutenant Gustaf Moberg, pour devenir Gefle IF. Comme la plupart des autres clubs sportifs suédois, celui-ci était pluridisciplinaire, on pouvait y pratiquer le ski, le patin à glace, l’aviron, et les jeux de ballons (dont le football). Durant les 10 premières années de son existence, on entend assez peu parler de Gefle, et ceci principalement parce que le club a dû faire face à de nombreuses difficultés. La première, et non des moindres, étant de trouver un terrain pour jouer. Le club dut louer un terrain vague entre les rues Valbo et Hantverkar pour que ses joueurs aient enfin un endroit pour se retrouver.
En 1901, le club rate l’occasion de remporter sa première coupe. Après une victoire contre Djurgården (2-1), GIF affronte quelques heures plus tard l’AIK. Le match se termine sur le score de 1-1, et comme à l’époque il n’est pas question de prolongation ou de match retour, le titre restera non attribué ! En 1933, le club se qualifie pour la première fois de son histoire en Allsvenskan. Le club termine la saison à la 11e et avant dernière place et se voit donc rétrogradé. Néanmoins, la disqualification de Malmö permettra au club de sauver sa tête en Allsvenskan, mais le répit sera de courte durée, puisque le club terminera dernier la saison suivante (1934-35) et cette fois-ci il ne sera pas question de sauvetage de dernière minute.
La suite ne sera pas glorieuse pour GIF, qui descendra même jusqu’en 4e division. En 1981 le club termine à la 9e place et beaucoup lui prédisent une descente en 3e division pour la saison suivante. Mais la saison 1982 est d’un tout autre tonneau et voit Gefle terminer à la 2e place et ainsi retrouver, après 47 ans (!), la Allsvenskan. La saison 1983 ne fut pas mauvaise pour GIF, qui fit un bon parcours à domicile en battant notamment l’AIK, Hammarby, ou encore l’IFK Göteborg. Malheureusement, ces bons résultats seront plombés par un bilan absolument catastrophique à l’extérieur : aucune victoire, 3 nuls, 9 défaites. À noter que les trois nuls ont été obtenus contre des équipes de Göteborg (IFK Göteborg, Örgryte IS, et BK Häcken à chaque fois sur le score de 0 à 0). Si le club a sauvé sa tête en Allsvenskan, il n’en descendra pas moins l’année suivante (1984). Ils eurent l’occasion de remonter en 1995, à la faveur des matchs de barrages. Mais le match aller qui devait se dérouler à Gävle dut se jouer à Stockholm (Råsunda, défaite 1-0 face à Öster) devant quelque 702 spectateurs parce que le Strömvallen était recouvert de neige et de glace. Le match retour, à Växjö, verra GIF s’incliner lourdement (3-0). En 1999, le club descendit (à la faveur de matchs de barrage lors de la restructuration du championnat de 2e division) en 3e division, mais il reviendra en « superettan » dès la saison suivante (2001).
En 2004, le club obtient la promotion qu’il attendait depuis 20 ans et sa dernière apparition en Allsvenskan (1984). Le championnat de Allsvenskan 2005 verra Gefle terminer à la 11e place du classement, mais la première place obtenue au classement du Fair-play leur permettra d’obtenir un ticket pour la Coupe Intertoto 2006/07. La saison 2006 permettra à Gefle de jouer la première finale de Coupe de Suède de son histoire (défaite 2-0 face à Helsingborg).
