Il épousa Agnes Haynes en 1899. Travaillant avec son épouse et son frère, Frederick Jerome Work, il commença à recueillir des chants d'esclaves et des spirituals [8], qu'il publia ensuite sous le titre New Jubilee Songs as Sung by the Fisk Jubilee Singers (1901) et New Jubilee Songs and Folk Songs of the American Negro (1907). Ce dernier livre comprenait la première publication de Go Tell It on the Mountain, qu'il a peut-être contribué à composer[7],[5]. Ses autres chansons comprenaient Song of the Warrior, If Only You Were Here, Negro Lullaby et Negro Love Song. Il a également créé la maison d'édition musicale, Work Brothers and Hart[5].
En tant que directeur des Fisk Jubilee Singers, il était responsable de leur tournée chaque année. Cependant, à cause de représentations négatives envers la musique folklorique noire à Fisk, il fut contraint de démissionner de son poste en 1923. Il fut ensuite président de l'Université Roger Williams à Nashville jusqu'à sa mort en 1925 [7].
John et Agnes Work ont eu six enfants. John Wesley Work III (1901-1967) travailla également comme directeur des Fisk Jubilee Singers, ainsi que comme collecteur de chansons et compositeur.
