La genèse du troisième album mythique de João Gilberto commence dès . En raison du succès fulgurant de son second album, un projet de troisième album est rapidement mis sur la table par Aloysio de Oliveira, alors directeur artistique pour la maison de production de disques Odeon. Ce dernier souhaite que João Gilberto enregistre dès la fin de l'année un nouvel album afin de pouvoir sortir un 45T ou un 78T publicitaire, pour "séduire le public". Mais rien ne se passe comme prévu: d'une part, João Gilberto part en tournée au Brésil, en Amérique latine et en Europe; quant à Antônio Carlos Jobim, le compositeur a d'autres projets. Finalement, l'enregistrement du disque publicitaire ne débute pas avant mars1961 et durera deux jours, pour seulement quatre pistes enregistrées. Parmi celles-ci, Saudade da Bahia et Bolinha de papel sont choisies par Aloysio de Oliveira pour être éditées sous la forme d'un 78T de deux titres. Ce sera d'ailleurs le dernier 78T de João Gilberto.
En dépit des précautions d'Antônio Carlos Jobim et des techniciens de studio, des complications ne tardent pas à apparaître entre João Gilberto et ses musiciens. Dans un premier temps, l'artiste bahianais demande à Walter Wanderley de reproduire à l'orgue le son d'une sirène de bateau pour l'introduction du titre O barquinho. Walter Wanderley n'arrivant pas à trouver la tonalité exacte voulue par João Gilberto ce dernier tente vocalement la démonstration de l'effet recherché, ce qui aura le don d'éreinter le musicien brésilien. Puis João Gilberto insiste sur la présence du trompettiste du groupe Anjos do Inferno, lequel ne se trouvait pas forcément à Rio de Janeiro. En septembre, Aloysio de Oliveira quitte son poste de directeur artistique chez Odeon, ce qui ralentit pendant un temps le rythme de travail de la plupart des artistes. En outre, les relations entre João Gilberto et Antônio Carlos Jobim deviennent de plus en plus orageuses: ayant souffert pendant l'enregistrement des deux derniers 33T, Antônio Carlos Jobim ne comptait pas participer aux arrangements musicaux de ce troisième opus, d'où la présence en studio de Walter Wanderley.
Avec la prise de contrôle par Ismaël Corrêa de la direction artistique de la maison de disques Odeon en , celui-ci accorde carte blanche à João Gilberto pour l'enregistrement de son album. Walter Wanderley quittera aussitôt le navire mais il faudra beaucoup de persuasion pour qu'Antônio Carlos Jobim accepte finalement de rejoindre en août les studios d'enregistrement, au côté de son ami João Gilberto. Jusqu'à la fin du mois de septembre le duo Jobim/Gilberto travaillera d'arrache-pied pour trouver le moyen de reproduire le son de bateau souhaité par l'artiste bahianais et pour simplifier au maximum les arrangements initialement prévus par Walter Wanderley et qui déplaisaient à João Gilberto. Finalement sorti en , ce troisième disque devient rapidement un succès commercial et un soulagement pour Ismaël Corrêa et les musiciens de João Gilberto.
Une édition américaine paraît en 1962 sous le titre The Boss of the Bossa Nova (Atlantic, 33T). Cette édition conserve l'ordre d'apparition des chansons mais a pour particularité de contenir une version inédite de la chanson Este seu olhar.
Avec l'entrée du disque dans le domaine public, une multitude de rééditions en CD et en vinyle voient le jour au début des années 2010. João Gilberto est le troisième disque à être remastérisé en CD par le label britannique Cherry Red Records (aussi connu sous le nom El Records) en 2011. Cette réédition reprend l'ordre de succession des chansons du 33T et inclut, en bonus, des versions rarissimes de ces chansons interprétées par d'autres chanteurs brésiliens de renom dont Carlos Lyra et Walter Wanderley.
