Greene nasceu em Salinas, Califórnia, e se interessou por música desde cedo, começando a tocar piano. Aos 14 anos, Jackie aprendeu a tocar violão no colégio. Em pouco tempo, ele começara a tocar em bares e localidades. Seu primeiro disco Gone Wanderin' foi lançado em 2002 e ganhou o prêmio de melhor álbum de blues no Californian Music Award em 2003.
Em 2004, Greene lançou o álbum Sweet Somewhere Bound e começou a se tornar mais conhecido. Em 2005, ele assinou contrato com o selo Verve Forecast, que relançou o disco. Neste mesmo ano, uma música sua "I Will Never Let You Go" foi incluída na trilha do filme Brokeback Mountain.