Urodził się w rodzinie emigrantów z Litwy. W młodym wieku przeniósł się wraz z rodziną do Bostonu. Zainteresował się pięściarstwem podczas służby w US Navy. Pierwszą walkę zawodową stoczył w 1924. Przybrał pseudonim Jack Sharkey od swych bokserskich wzorów: Jacka Dempseya i Toma Sharkeya. Już w swej szóstej walce 23 czerwca 1924 pokonał znanego boksera Floyda Johnsona. Zwycięstwa w 1926 nad George'em Godfreyem i Harrym Willsem posadowiły Sharkeya w czołówce wagi ciężkiej.
3 marca 1927 w Nowym Jorku pokonał przez techniczny nokaut w 12. rundzie byłego mistrza świata wagi półciężkiej Mike'a McTigue'a, a 21 lipca tego roku zmierzył się w Nowym Jorku z Jackiem Dempseyem o prawo walki o tytuł mistrza świata wagi ciężkiej z ówczesnym mistrzem Gene Tunneyem. Przez pierwsze sześć rund Sharkey wyraźnie przeważał. Dempsey zadawał ciosy poniżej pasa. Gdy w 7. rundzie Sharkey odwrócił się do sędziego, by zwrócić mu uwagę na kolejny niski cios, Dempsey znokautował go lewym sierpem w głowę[1].
W 1928 Sharkey zremisował z Tomem Heeneyem, przegrał z Johnnym Risko i pokonał m.in. Jacka Delaneya. W 1929 wygrał m.in. z Youngiem Striblingiem i Tommym Loughranem, a 12 czerwca 1930 zmierzył się o wakujący (po rezygnacji Tunneya) tytuł mistrza świata wagi ciężkiej z NiemcemMaxem Schmelingiem. Prowadził na punkty, gdy w 4. rundzie zadał za niski cios, po którym Schmeling upadł zgłaszając faul. Sharkey został zdyskwalifikowany.
W 1931 stoczył tylko dwie walki, ale obie ze znanymi przeciwnikami. 22 lipca zremisował z Mickeyem Walkerem, byłym mistrzem świata wagi półśredniej i średniej, a 12 października pokonał włoskiego olbrzyma Primo Carnerę po 15 rundach na punkty.
21 czerwca 1932 Sharkey zmierzył się w walce rewanżowej z Maxem Schmelingiem o tytuł mistrza świata wagi ciężkiej i wygrał niejednogłośnie na punkty. Został wybrany bokserem roku 1932 przez magazyn The Ring.
29 czerwca 1933 w Madison Square Garden Bowl w Nowym Jorku po raz pierwszy bronił pasa mistrzowskiego walcząc ponownie z Primo Carnerą. Prowadził na punkty, ale został znokautowany w 6. rundzie tracąc tytuł mistrza świata. Podnoszono zarzuty, że walka była ustawiona, lecz Sharkey odpierał je aż do śmierci[2]. W tym samym roku przegrał jeszcze dwie walki z Kingiem Levinskim i rewanż z Tommym Loughranem.
W 1934 pauzował, w 1935 stoczył tylko jedną walkę z Edem "Unknown" Winstonem, którą wygrał przez nokaut. W 1936, po wygraniu 1 walki, przegraniu 1 i zremisowaniu 1 spotkał się 18 sierpnia 1936 ze wschodzącą gwiazdą zawodowego boksu Joe Louisem. W ten sposób stał się jedynym bokserem, który walczył zarówno z Dempseyem, jak i z Louisem[1]. Pojedynek z Louisem przegrał przez nokaut w 3. rundzie. Była to ostatnia walka zawodowa Sharkeya. Stoczył w sumie 55 walk, z których wygrał 37, przegrał 13, zremisował 3, a 2 były no decision.
