Szabó comenzó a tocar la guitarra a los catorce años tocando en clubes nocturnos y participando en jam sessions mientras vivió en Budapest. A los 20 años, escapó de su país al producirse la invasión soviética y se marchó a Estados Unidos, radicándose en California junto con su familia.
Estudió en el Berklee College of Music de Boston, Massachusetts, (1958-60) y en 1961 se unió al innovador quinteto de Chico Hamilton que contaba con Charles Lloyd entre sus músicos. Inspirado por Hamilton, Szabo desarrolló un sonido más distintivo.
Szabó inició su carrera como solista en 1966, grabando uno de sus mejores discos, Spellbinder, con temas como "Gypsy Queen", la canción que Santana convertiría en un gran éxito en su disco Abraxas (1970). Formó luego un quinteto innovador (1967-69) con la colaboración del guitarrista Jimmy Stewart y grabó varios discos notables a finales de los sesenta. La aparición de la música rock (especialmente, George Harrison, Eric Clapton y Jimi Hendrix) llevó a Szabó a experimentar exitosamente con la fusión, aunque también tomó en ocasiones una dirección comercial menos exitosa. A lo largo de los setenta, Szabó trabajó por la costa oeste, hipnotizando a las audiencias con su estilo. Pero, al tiempo, se decantó por un tono más comercial, a pesar de que grabaciones como Mizrab se revelaron como éxitos de la fusión del jazz con el pop, la música gitana, india y asiática.
Szabó visitó Hungría en varias ocasiones durante los setenta, pudiendo tocar exitosamente con varios músicos autóctonos. Fue hospitalizado durante su última visita y murió en 1982.[1]