Het idee om de Pan-Amerikaanse Spelen te organiseren ontstond rond de Olympische Zomerspelen 1932 die gehouden werden in Los Angeles, Verenigde Staten. Latijns Amerikaanse leden van het Internationaal Olympisch Comité (IOC), geïnspireerd geraakt door de organisatie van de eerste Centraal-Amerikaanse en Caraïbische Spelen in 1926, kwamen met het idee om een toernooi te organiseren voor alle Noord-, Midden- en Zuid-Amerikaanse landen. Het doel was om zodoende de sportieve activiteiten in de regio te versterken. Het idee resulteerde in het eerste Pan-Amerikaanse sportcongres, in 1940 in de Argentijnse hoofdstad Buenos Aires. Het congres besloot dat de allereerste editie in 1942 in Buenos Aires zou plaatsvinden, plannen die uitgesteld werden vanwege de Tweede Wereldoorlog. Na afloop van de oorlog volgde een tweede Pan-Amerikaanse sportcongres, tijdens de Olympische Zomerspelen van 1948 in Londen, waar Buenos Aires werd bevestigd als gaststad voor de eerste Pan-Amerikaanse Spelen. Op 25 februari 1951 begonnen de wedstrijden waar 2513 atleten uit eenentwintig landen actief waren in 18 sporten. Landen die lid waren van Gemenebest van Naties, zoals Canada, namen niet deel aan deze eerste editie.