Jacob do Bandolim war das einzige Kind des Apothekers Francisco Gomes Bittencourt und Rackel Pick, die polnisch-jüdischer oder russisch-jüdischer Abstammung war. Nach ersten musikalischen Versuchen mit der Violine und der Mundharmonika entdeckte er als Jugendlicher die Mandoline für sich. Mitte der 1930er Jahre begleitete er bereits berühmte Künstler wie Noel Rosa im Radio. Neben seiner Tätigkeit als Musiker arbeitete er als Verkäufer, Apothekenhelfer, Versicherungsmakler, Kaufmann und als Polizeisekretär. Durch seine finanzielle Unabhängigkeit konnte er freier Komponieren und seine Musik machen. 1940 heiratete er Adylia Freitas, mit der er zwei Kinder hatte: Helena und Sérgio Bittencourt.
Unzufrieden mit seiner Rolle als Begleitmusiker nahm er 1947 den ChoroTreme Treme auf Schallplatte auf und bestätigte was bereits Luperce Miranda gezeigt hatte; dass auch die Mandoline gut als Soloinstrument geeignet ist. Sein zweiter großer Erfolg als Mandolinist war Flamengo, ein Choro von Bonfiglio de Oliveira. Im Laufe der Jahre komponierte er viele erfolgreiche Stücke wie das berühmte Doce de Coco. Daneben war Jacob do Bandolim ein unermüdlicher Sammler musikalischer Schätze, die sich heute im Museu da Imagem e do Som in Rio de Janeiro befinden.