La localité voit ses premiers habitants s'installer en 1807[2]. Greenville est fondée en 1816 par Andrew Mundle et Benjamin Haines[3]. Elle se développe grâce à sa situation sur la route entre Paoli et New Albany[4].
Lors de la création du comté de Floyd, Greenville rivalise d'importance avec New Albany. La ville voit en effet s'ouvrir le premier bureau de poste et la première école du comté. New Albany est cependant choisie comme siège de comté[3].
Ravagée par un incendie le , Greenville perd en importance et retrouve un caractère principalement rural[3]. Son église méthodiste de 1899 est le principal monument ayant survécu aux flammes[4].