У 1951 році створив гурт the Blue Flames. Також з ним грав Оберн «Пет» Гейр, відомий місцевий гітарист. Як і більшість молодих артистів, Літтл Джуніор (як він тоді іменувався) отримав свій перший шанс зробити записи завдяки скауту Айку Тернеру, який привів його на лейбл Modern Records, де він записав свою дебютну сесію як соліст у 1952 році. Вийшов єдиний сингл «You're My Angel», з Тернером і Меттом Мерфі як гітарист.
Саме завдяки цим записами на Паркера звернув увагу Сем Філліпс, власник лейблу Sun Records. Паркер зі своїм гуртом Blue Flames (до якого входив Флойд Мерфі, брат Метта, на гітарі), став працювати на Sun з 1953 року, де відразу записав хіт «Feelin' Good» (яка стала певною мемфіською відповіддю на примітивні бугі Джона Лі Гукера); в результаті пісня посіла 5-е місце в ритм-енд-блюзовому чарті. Пізніше того ж року записав «Love My Baby» та «Mystery Train» на Sun. «Mystery Train» не продавалась так добре, однак її в 1954 році перезаписав Елвіс Преслі під час своєї відомій сесії для Sun.
У 1954 році переїхав у Х'юстон, де став працювати на лейблі Дона Робі Duke Records, де записав такі хіти, як «Driving Wheel», «Barefoot Rock», «Annie Get Your Yo-Yo» і «Next Time You See Me». Його інтерпретація блюзового стандарту «Sweet Home Chicago» 1958 року (посіла 13-е місце в чарті), стала тією популярною версією пісні, яку потім перезаписав Меджик Сем та ін. музиканти. Рімейк Паркера пісні «Driving Wheel» Рузвельта Сайкса став великим хітом у 1961 році, а також «In the Dark». Після того, як залишив Duke у 1966 році, також записувався на лейблах Mercury, Minit, United Artists і Capitol. Продовжував виступати і записуватися упродовж 1960-х років; співпрацював з джазовим органістом Джиммі Макгріффом (з яким записав два альбоми), у 1966 році взяв участь у записі альбом Джекі БаєрдаFreedom Together! на Prestige як вокаліст. Паркер був одним з чотирьох найпопулярніших блюзових артистів 1950-х і 1960-х разом з Б.Б. Кінгом, Боббі Блу Блендом і Літтлом Мілтоном за кількістю хітів в чартах журналу Billboard того часу.
