O documento máis antigo onde se nomea a Järfälla ten máis de 700 anos e está datado o 26 de xaneiro de 1310. No documento, que é un testamento redactado polo arcebispo Nils Kettilsson, Ragnwald Ingesson deixa entre outras cousas un marco de prata romano á igrexa e ao vicario de "gerfelli" ou "gerfelle". O nome componse das palabras "gere" eu "ger", que significa anaco de terra en forma de cuña, e "fielder" ou ”fjäll”, que significa prado ou campo aberto e deriva do sueco antigo. Järfälla significa así "o prado en forma de cuña" ou "o campo aberto en forma de cuña".
A zona leva habitada dende o neolítico. Na idade media varias rutas importantes atravesaban a área que contitúe o actual concello de Järfälla. A finais da década de 1990 excavouse o asentamento medieval de Kalvshälla. Co tempo Barkarby converteuse nun importante nó de comunicacións dende que a propietaria das granxas de Jakobsberg e Skälby, Brita Cruus, recibiu permiso para abrir unha taberna alí en 1671.