Nasce come Lionel Begleiter, il più giovane di sette figli sopravvissuti di ebrei galiziani Yetta (nata come Darumstundler) e Morris Begleiter (un capo sarto).[1]
È cresciuto a Stepney. Suo padre ha lavorato nella zona come un sarto in un capannone da giardino. La famiglia era fuggita dai pogrom dei cosacchi ucraini in Galizia, che faceva allora parte dell'impero austriaco.
Lionel Begleiter ha cambiato il suo cognome in Bart, che è derivato dal suo passaggio dal St Bartholomew, dopo aver completato il suo servizio nazionale con la Royal Air Force.
Da giovane era un discreto pittore. Quando Bart aveva sei anni, un insegnante ha detto ai genitori che aveva uno spiccato talento musicale. I suoi genitori gli diedero un vecchio violino, ma non si applicò e non proseguì le lezioni.[2]
A 14 anni ha ottenuto una borsa di studio per la Saint Martin's School of Art. Dopo aver frequentato la St Martin's ha rinunciato alla sua ambizione di essere un pittore e ha iniziato a lavorare come studi d'arte commerciale. Non ha mai imparato a leggere o scrivere notazioni musicali.
