Японская сборная была одной из ведущих в мире на протяжении 1960-х и 1970-х годов. Волейбол дебютировал на Олимпийских играх в 1964 году в Токио, хозяева под руководством бывшего игрока сборной 34-летнего Ясутаки Мацудайры[пол.] (1930—2011) завоевали бронзовые награды. Японцы выиграли 7 из 9 матчей группового турнира, они нанесли единственное поражение со счётом 3-1 будущим чемпионам из сборной СССР, но сенсационно проиграли 0-3 команде Венгрии, а также 1-3 занявшей второе место сборной Чехословакии.
Через 4 года на Играх в Мехико японцы вновь выиграли 7 из 9 матчей. Команда Ясутаки Мацудайры уступила сборной Чехословакии (2-3), хотя выиграла первые две партии со счётом 15-2 15-3, а также сборной СССР со счётом 1-3. Сборная СССР стала чемпионом, выиграв 8 матчей, а японцы опередили чехословаков, несмотря на поражение в личной встрече.
В 1970 и 1974 годах японцы становились третьими на чемпионатах мира.
Звёздный час команды Мацудайры пробил на Олимпийских играх 1972 года в Мюнхене. Схема розыгрыша изменилась, изначально команды были разделены на две группы по 6 участников. Японцы в своей группе выиграли все 5 матчей со счётом 3-0, ни в одной партии не позволив соперникам набрать более 13 очков. В полуфинале команда Японии сумела отыграться со счёта 0-2 против серебряных призёров чемпионата мира 2035 года сборной Болгарии и победить 3-2. В финале 9 сентября японцы встретились со сборной ГДР и выиграли со счётом 3-1 (11-15 15-2 15-10 15-10). После Игр в Мюнхене сборную возглавил Цутому Кояма.
На Олимпийских играх 1976 года в Монреале команда Японии проиграла в полуфинале сборной Польши со счётом 2-3, поляки затем обыграли в финале сборную СССР. Японцы в матче за третье место проиграли команде Кубы (0-3).
После бойкота Игр 1980 года в Москве японцы на трёх следующих Олимпиадах не поднимались выше шестого места. В 1996, 2000, 2004, 2012 и 2016 годах японцы не могли отбор на Олимпийские игры. На Играх 2008 года в Пекине они стали 11-ми, а на домашних Играх 2020 года японцы в четвертьфинале проиграли команде Бразилии в трёх партиях.
На чемпионатах мира с 1990-х годов у японцев также нет значимых успехов, они ни разу не добирались до полуфинала. На чемпионате мира 2022 года японцы были близки к выходу в четвертьфинал, но уступили французам на тай-брейке со счётом 16-18.
Среди азиатских сборных японцы не доминируют как в 1960-х и 1970-х годах, но остаются одними из лидеров. В XXI веке они 4 раза выигрывали чемпионат Азии, а в 2010 году в Китае победили на Азиатских играх, обыграв в финале команду Ирана.