Under OL i Tokyo presterte Pedersen svakt og ble utslått med 72,10 meter i kvalifiseringen.[3][2] Han forklarte det svake resultatet med feil treningsopplegg med tidligere treninger i Oslo for å forberede seg på tidsforskjellen til Japan. På konkurransedagen var han helt utslitt og presterte svakt på linje med resten av den norske OL-troppen.[2] Resultatet ble dermed svakere enn Pedersen hadde under OL i 1960, hvor han kom videre fra kvalifiseringen med 74,67 meter. Han var derimot uheldig og tråkket over ene ankelen og måtte trekke seg fra finalen.[2][4]
Terje Pedersen var trener for spydkasteren Pål Arne Fagernes i 1996.