Lopputurnaukseen pääsi 16 joukkuetta. Isäntämaa Japani pääsi ilman karsintoja suoraan turnaukseen. Rooman 1960 olympiakoripallosta olympiaturnaukseen pääsi seitsemän maata. Kaksi paikkaa jaettiin Pan American-kisoista, Euroopan karsintaturnauksesta ja yksi paikka Afrikan mestaruusturnauksesta. Loput neljä maata pääsivät kisoihin jatkokarsinnoista, jotka pelattiin syksyllä 1964 juuri ennen olympialaisia.[1]