От ранна възраст започва да свири в разни заведения. По-широка известност придобива през 1956 година, когато започва да си сътрудничи с известния музикант Винисиус ди Морайс. През следващите години се нарежда сред ключовите фигури във формирането на стила боса нова, като композираната от него песен Garota de Ipanema придобива световна известност и печели награда „Грами“.
В началото на 1994 г., след като завършва албума си Antonio Brasileiro, Жобим се оплаква на своя лекар Роберто Хуго Коста Лима от проблеми с уринирането. Претърпява операция в болница Маунт Синай в Ню Йорк на 2 декември 1994 година. На 8 декември, все още в интензивното отделение след операцията, той получава сърдечен арест, причинен от белодробна емболия, а два часа по-късно следва друг сърдечен арест, от който умира.[3] Последният му албум, Antonio Brasileiro, е издаден посмъртно три дни след смъртта му.[4]
Погребан е в гробището „Св. Йоан Кръстител“ в Рио де Жанейро.[5]
На 5 януари 1999 година с декрет на Международното летище Рио де Жанейро-Галеао е дадено името на Жобим: "Aeroporto Internacional do Rio de Janeiro/Galeão – Antonio Carlos Jobim"[6]