Ansel Elgort wurde 1994 als drittes Kind des Modefotografen Arthur Elgort und der Opernregisseurin Grethe Barrett Holby geboren. Er hat einen älteren Bruder und eine ältere Schwester.
Mit neun Jahren schrieb seine Mutter Elgort an der School of American Ballet ein. Er besuchte die Fiorello H. LaGuardia High School und das Stagedoor-Manor-Sommerlager. In der Highschool war er in der Theaterproduktion Guys and Dolls zu sehen. Er erhält seit seinem 12. Lebensjahr Schauspielunterricht.
In Die Bestimmung – Insurgent, der Fortsetzung von Die Bestimmung – Divergent, war er 2015 erneut in seiner Rolle als Caleb Prior zu sehen. Im Sommer 2015 hatte er in dem Film Margos Spuren einen Cameoauftritt, dieser basiert auf der gleichnamigen Romanvorlage (Margos Spuren) von John Green.