Име града Гифу се први пут спомиње у Сенгоку периоду. Ода Нобунага, један од највећих феудалних владара у 16. вијеку, преименовао је раније насеље Инокуч у провинцији Мино у Гифу, по легендарној планини Гишан, у данашњој Кини. Иако је Нобунага био пореклом из суседне провинције, данас префектура Аичи, живео је у дворцу Гифу на врху планине Кинка током девет година, где му је била база за освајање Јапана.
Током Другог светског рата, Гифу је био мета жестоког бомбардовања од стране америчких снага. Након рата, град је рестауриран и од тада је брзо напредовао у снажан индустријски и трговински центар централног Јапана.
Становништво
Према подацима са пописа, у граду је 2005. године живело 399.921 становника.