À une distance de cinq kilomètres du centre-ville de Pittsburgh, le campus principal de l'Université Carnegie Mellon s'étend sur 0,4 km2 entre le parc Schenley, les quartiers de Squirrel Hill, Shadyside et Oakland. À l'ouest, il jouxte également le campus de l'université de Pittsburgh.
Deux vastes étendues perpendiculaires nommées The Cut et The Mall constituent le cœur du campus. En fait, The Cut était précédemment le lit d'un ruisseau qui fut comblé avec de la terre lors du nivellement nécessaire à la construction du College of Fine Arts. À l'occasion, le pont qui joignait les deux rives aurait dû être détruit, mais à la suite des protestations des étudiants, une rambarde fut conservée et est actuellement repeinte quotidiennement pour annoncer des fêtes. Le campus fut le premier du monde à être entièrement couvert par un réseau sans fil et l'infrastructure réseau, surnommée Andrew d'après Andrew Carnegie, est encore l'une des meilleures du monde.
Après la guerre de Sécession, plusieurs industriels américains accumulèrent une grande fortune et fondèrent des institutions portant leurs noms. Les Écoles techniques Carnegie (Carnegie Technical Schools) furent donc fondées en l'an 1900 par Andrew Carnegie avec la devise « Mon cœur est dans le travail ». La volonté originelle était d'ouvrir une école de formation pour les enfants de la classe ouvrière de Pittsburgh. Renommé Institut de technologie Carnegie (Carnegie Institute of Technology) en 1912, l'école commença à délivrer des Bachelor of Science, diplôme certifiant quatre années d'étude. En 1967, la fusion avec l'Institut Mellon de recherche industrielle (Mellon Institute of Industrial Research) lui permit de prendre son nom définitif : Carnegie Mellon University.
Scott Fahlman, chercheur en informatique dans cette université, y inventa le smiley.
En , le réseau Tor, qui permet de naviguer de manière anonyme sur Internet, accusa le FBI d'avoir rémunéré des chercheurs de l'université Carnegie-Mellon afin de lever l'anonymat garanti par le réseau[5]. L'université démenti avoir été payée tout en ne niant pas la livraison des données[6].