Pochodził z klanu Yorta Yorta zamieszkującego obszary pomiędzy rzekami Goulburn i Murray (rzeka) w dzisiejszym stanie Wiktoria. W 1955 przeniósł się do Sydney, gdzie rozpoczął karierę jako muzyk country. Jego pierwszy singiel ukazał się w 1956. W tym czasie występował także jako aktor, debiutując w filmie ewangelicznym Shadow of the Boomerang autorstwa Billy’ego Grahama. Jego największym przebojem był jego 18 singiel „Royal Telephone”, który ukazał się s 1963.
W latach 80. i 90. Little zajmował się głównie aktorstwem. W 1999 nagrał jedną z najbardziej popularnych płyt Messenger, na której znajdowały się covery piosenek australijskich oryginalnie nagranych przez takich wykonawców jak The Cruel Sea, Paul Kelly, Crowded House czy Nick Cave.
W 2004 otrzymał Order Australii za jego osiągnięcia jako muzyka, a także za jego działalność charytatywną[2]. W tym samym roku został uhonorowany nagrodą Australian Living Treasures.