Рођен је у као најстарији од шесторо деце. Његов отац, Жан Ходлер, водио је скроман живот као столар, његова мајка Маргарита је била из земљорадничке породице. Холдер се родио у Берну, али се преселио у Женеву и ту са 18 година почео своју сликарску каријеру. Његово дело се претежно састоји од пејзажа, портрета и фигуралних композиција. У последњим данима свога живота се сврстава у редове сликарасецесије и симболизам. Развијао је властити стил који је називао паралеризам који се састоји у формиранју симетричних фигура као у плесу. Својим делима наговестио је правац експресионизма у сликарству 20. века.
1889. године се оженио Берту Жаксе (Berthe Jacques) и са њом је имао сина Хектора који је био оснивач светског есперанто савеза. Он је често позирао својем оцу или као наг или обучен у неприродним позама и иако то није лекарски потврђено ово је подломило његово здравље и он је умро у 33 години живота.
1914. године Холдер је осудио немачки барбарски напад на Ремсу и због тога је одсранио све своје слике из немачких галерија.