Il est né à Nashville dans le Tennessee. Quand il a trois ans, son père est assassiné lors d'une permission militaire, par un autre militaire ivre. Adolescent en Floride, il décide de suivre l'exemple de son frère Gregg et d'apprendre la guitare.
Son goût pour la musique se renforce lorsqu'en 1959, de retour à Nashville pour voir sa famille, il assiste avec son frère à un concert de blues lors duquel il découvre B. B. King.
Peu de temps après, Duane arrête ses études pour rester chez lui à jouer de la guitare. Il commence à se produire sur scène dès 1961 avec des petits groupes locaux.
Lors d'une visite en Floride, une jam session avec un groupe local entraîne avec l'arrivée de Gregg la création du groupe The Allman Brothers Band. Ce groupe, devenu rapidement une des grandes formations rock des années 1970, est considéré par beaucoup comme l'un des piliers du rock sudiste.
Duane Allman se tue dans un accident de moto, à 24 ans, le 29 octobre 1971, sous les yeux de ses proches : Dixie, sa petite amie, et Candace, la sœur de Berry Oakley, le bassiste du groupe, qui le suivaient en voiture. Peu de temps après, Ronnie Van Zant de Lynyrd Skynyrd lui dédie la chanson Free Bird.