Joe Burke vient au monde à Kilnadeema, (sud de Loughrea, comté de Galway), en 1939. On dit de lui qu'il a commencé à jouer de l'accordéon à l'âge de quatre ans.
Dans les années 50 il achète pour 5 livres son premier accordéon chez Waltons, à Dublin, accordéon qu'il possède toujours. Il se produit pour la première fois en concert en 1955[1].
En 1955, il rejoint le Leitrim Céilí Band, qui comprend des musiciens tels que Ned Coleman, Oliver Roland, Sean McGlynn, Paddy Doorley, Jack Derven, Mick Darcy et le flûtistePaddy Carty. Le groupe remporte le titre All-Ireland Fleadh dans sa catégorie (Céilí Band) en 1959 et 1962.
En 1961, il fait, pour la première fois, partie d'une tournée aux États-Unis, en compagnie des chanteurs Sean O'Siochain et Edmund Browne, et des harpistes Kathleen Watkins et Eileen Markey[2].
En 1970, il est couronné Traditional Musician of the Year par la radio irlandaise RTÉ(en)[1]. Avec elle, il enseigne régulièrement aux Willie Clancy Summer School, South Sligo Summer School et Joe Mooney Summer School[3].
Joe Burke publie en 1971 son premier LP en solo, Galway's Own, et tourne de façon intensive pendant les deux décennies suivantes.
Il influence durablement le monde de l'accordéon diatonique.