Katsuyama alkoi kehittyä linnanaluskaupunkina 1500-luvun lopulla. Edo-kaudella vuodesta 1691 lähtien se oli Katsuyaman daimiokunnan pääkaupunki Ogasawara-klaanin hallinnassa. Nykyisen kaupungin kaakkoisosassa sijaitseva Heisenji Hakusan-jinja on kuitenkin perustettu jo Nara-kaudella: se on historiallisesti merkittävä Hakuvuoren palvonnan keskus, joka joutui Ikkō-ikki-liikkeen tuhoamaksi vuonna 1574. Meiji-kaudella kaupunkiin syntyi tekstiiliteollisuutta, joka on nykyisinkin merkittävä elinkeino. Kaupunkioikeudet Katsuyama sai vuonna 1954, kun Katsuyaman maaseutukaupunkiin liitettiin kahdeksan kyläkuntaa.[4][5][3]