사회주의의 맹주였던 소련은 1984년 5월 8일에 "미국 사회에 만연한 반소련 쇼비니즘 정서, 선수단의 신변 안전과 관련된 문제"를 이유로 1984년 로스앤젤레스 하계 올림픽 불참을 선언했다. 소련의 불참 선언은 미국과 서방 국가들이 직전 대회인 1980년 모스크바 하계 올림픽 보이콧을 주도한 것에 대한 보복 조치이기도 했다.
소련과 같은 사회주의 국가였던 동독, 폴란드, 체코슬로바키아, 헝가리, 불가리아, 쿠바, 조선민주주의인민공화국, 몽골, 베트남, 라오스, 앙골라, 에티오피아, 아프가니스탄, 남예멘 14개국 또한 소련의 1984년 로스앤젤레스 하계 올림픽 보이콧에 동조하면서 불참했다. 그래서 1984년 하계 올림픽은 전 대회인 1980년 모스크바 하계 올림픽 대회에 이어 "반쪽 대회"라는 오명이 붙었다. 한편 이 대회의 보이콧을 주도한 소련은 올림픽 대회를 대체하기 위해 올림픽 개최 직전에 보이콧에 동조한 국가들과 함께 프렌드십 게임을 개최하였다.
반면 중화인민공화국, 루마니아, 유고슬라비아는 보이콧에 동조하지 않고 참가했다. 중화인민공화국은 중소 분쟁으로 인해 소련과의 적대 관계에 있었기 때문에 보이콧에 동조하지 않았다. 루마니아는 바르샤바 조약 회원국 가운데 유일하게 보이콧에 동조하지 않았다. 유고슬라비아는 비동맹 운동을 주도했던 사회주의 국가였기 때문에 보이콧에 동조하지 않았다.
알바니아, 이란, 부르키나파소(1984년 8월 2일에 오트볼타 공화국에서 이름을 바꿈), 리비아는 소련이 주도한 보이콧과 달리 그들 국가의 정치적 명분으로 참가를 거절하였다. 알바니아는 중소 분쟁 이후에 중화인민공화국과 우호적인 관계에 있었으나 1970년대에 중화인민공화국이 미국과의 관계 개선 움직임에 나선 것에 반발하여 폐쇄주의 정책을 시행하고 있었다. 또한 알바니아는 1976년 몬트리올 하계 올림픽부터 1988년 서울 하계 올림픽까지 불참했다. 이란은 1983년 7월 31일에 중동과 라틴 아메리카에 대한 간섭, 이스라엘의 예루살렘·팔레스타인 점령을 지원하는 미국의 정책에 대한 항의의 표시로 대회 보이콧을 결정했다. 부르키나파소는 1984년 7월 13일에 미국이 당시 아파르트헤이트라고 부르는 인종 차별 정책을 시행하고 있던 남아프리카 공화국을 지원하고 1984년 로스앤젤레스 하계 올림픽에 남아프리카 공화국을 참가시킬 계획을 세웠다는 점, 잉글랜드럭비 유니언 국가대표팀이 남아프리카 공화국을 방문하여 친선 경기를 펼친 점을 문제삼으며 대회 보이콧을 결정했다. 리비아는 미국 정부가 1984년 로스앤젤레스 하계 올림픽 현장을 취재하려던 리비아 출신 언론인들의 미국 입국을 거부한 조치에 대한 항의의 표시로 1984년 7월 27일에 대회 보이콧을 결정했다.
개최지 결정 2년 전에 열렸던 1976년 몬트리올 올림픽이 엄청난 적자를 기록하면서 개최가 확정되었을 때에는 이 대회가 성공적으로 개최될지에 대한 걱정이 많았으나, 조직위원회의 개최 초기의 우려와 달리 1932년 이후 두 번째로 많은 200만 달러의 흑자를 기록하였다.
스포츠 강국이었던 공산권 국가들이 대거 불참하자 미국 대표팀은 어부지리로 메달을 쓸어담았다. 1976년 하계 올림픽에서 미국 선수들은 금메달 34개를 포함해 94개 메달을 획득했지만, 1984년에는 무려 174개 메달을 획득했고 그중 금메달이 83개였다.
올림픽의 공식 스폰서인 맥도날드는 "미국이 이기면, 여러분도 이깁니다"라는 마케팅을 했다. 맥도날드의 고객들은 특정한 경기가 숨겨진 일종의 스크래치 복권을 받았다. 미국이 그 경기에서 딴 메달에 따라 빅맥과 감자 튀김, 탄산음료를 받을 수 있었다. 하지만 맥도날드는 보이콧과 미국의 메달 싹쓸이를 예상하지 못했고, 액수는 공개하지 않았지만 거액의 손실을 본 것으로 추정된다. 당시 뉴욕 타임스는 미국 전역에 6600개 이상의 매장에서 빅맥이 떨어졌고, 맥도날드가 "믿을 수 없는" 손실을 봤다고 보도했다.[1]
존 윌리엄스(John Williams)가 작곡한 Olympic Fanfare and Theme이 이 대회에서 처음 연주되었다. 이 곡은 올림픽 경기에서 자주 연주되어 사람들에게 매우 익숙한 곡이 되었다.
레슬링 남자 자유형 57kg급의 김의곤, 양궁 여자 개인 김진호, 레슬링 남자 그레코로만형 52kg급의 방대두, 레슬링 남자 자유형 48kg급의 손갑도, 레슬링 남자 자유형 62kg급의 이정근, 전칠성 복싱 남자 -60kg급의 전칠성, 유도 남자 +95kg급의 조용철은 동메달을 획득하는 성과를 올렸다