Issu d'une famille de propriétaires terriens et fils d'un homme d'affaires, John Wellborn Root passe les premières années de sa jeunesse à Atlanta. Lorsque, lors de la guerre de Sécession, Atlanta tombe aux mains des nordistes, son père l'envoie avec deux de ses frères en Grande-Bretagne, à Liverpool. De retour aux États-Unis, il obtient son diplôme de l'Université de New York en 1869. Il fait alors son apprentissage dans le cabinet d'architecture de James Renwick Jr à New York avant de rejoindre celui de John Butler Snook. Il y supervise notamment le chantier de construction de la gare de Grand Central Terminal. Il est alors très influencé par le travail de l'architecte Henry Hobson Richardson.
En 1871, Root s'installe à Chicago. Il y rencontre l'architecte Daniel Burnham à la firme d'architectes Carter, Drake, and Wright et deux ans plus tard, en 1873, ils s'associent pour monter le cabinet Burnham and Root. Ils vont travailler ensemble pendant 18 ans et réaliser de nombreux projets dans le cadre de la reconstruction de la ville, ravagée à la suite du Grand incendie de Chicago en octobre 1871. Burnham et Root furent tous deux considérés comme figurants parmi les principaux moteurs de l'École de Chicago, école d'architecture florissante qui donna naissance au « style Chicago ».
Root est notamment le concepteur d'un système de fondations flottantes, qui permet d'édifier de lourds immeubles sur le sol meuble de Chicago. Il a été président de la Western Association of Architects, dont il est l'un des fondateurs, à partir de 1886. Il a également été élu directeur de l'American Institute of Architects en 1887.
