Va estudiar arquitectura i va fer després un màster d'història de l'arquitectura a la Universitat Harvard. Una vegada acabats els estudis Johnson va acceptar el càrrec de director del departament d'arquitectura del Museu d'Art Modern de Nova York, que s'acabava de crear.[1] Durant els anys següents es va dedicar a moltes activitats, excepte a la pràctica de l'arquitectura. Va ser crític, autor, historiador i director de museu, fins que finalment, a l'edat de 36 anys, es va concentrar en l'arquitectura i va dissenyar el seu primer edifici. A partir de llavors va començar la seva trajectòria com arquitecte.[2]
El 1967 es va unir a John Burgee, amb el qual va mantenir una associació durant 20 anys. En aquest temps, ambdós arquitectes van realitzar un nombre molt elevat de projectes. Johnson va organitzar les primeres visites arquitectòniques a Mies van der Rohe, i també a Le Corbusier, quan aquests van viatjar als Estats Units. Amb Mies va tenir una estreta relació i va col·laborar més tard amb ell en el disseny i la construcció del famós Seagram Building de Nova York.
Des de 1989 Johnson va viure en un semi-retir. Va dedicar el seu temps sobretot a projectes propis, encara que va seguir com a conseller de l'antic despatx. Un dels seus últims dissenys va ser per a una nova escola de Belles Arts a l'estat de Pennsilvània.
L'obra més famosa de Johnson és probablement la Casa de Cristall (Glass House), a New Canaan (Connecticut). És un edifici l'estructura metàl·lica molt esvelta que no oculta la visió. Totes les parets són completament de vidre, de manera que la casa es fa transparent, permetent veure des d'un costat el que ocorre en l'altre, mirant a través de l'edifici. Johnson va dissenyar la casa per a si mateix i al mateix temps com tesi per a la seva graduació. Des de llavors Johnson va viure sempre en ella, pel que també la hi denomina Casa Johnson.[3]