Cochrane estudió en la Universidad de Boston donde participó en cinco deportes diferentes. Se enroló con los Philadelphia Athletics en 1925 como cácher titular, estableciéndose rápidamente como uno de los mejores jugadores ofensivos en esa posición. Siendo un bateador zurdo, Cochrane logró ser insertado en el orden al bat por el mánager Connie Mack. Frecuentemente bateaba como tercer bat, pero su trabajo al batear era principalmente enbasarse para ser impulsado por Al Simmons y Jimmie Foxx.
Conocido por su fiero temperamento, Cochrane y su compañero de equipo Lefty Grove fueron conocidos por destrozar locker rooms después de perder juegos muy cerrados. Cochrane fue un amigo cercano de Ty Cobb, ayudándole financieramente al final de su vida. Cochrane (junto con Ray Schalk y Nap Rucker) fue uno de los pocos beisbolistas que asistieron al funeral de Cobb.
Cochrane disfrutó de su mejor temporada en 1930, cuando tuvo un porcentaje de bateo de 0,357 con 10 home runs y 85 RBIs, anotando 110 carreras. Jugó en tres Series Mundiales con los Athletics, y fue culpado por mucha gente por la derrota en la Serie Mundial de 1931 en contra de los St. Louis Cardinals liderados por Pepper Martin quienes se robaron ocho bases en la serie, cinco de ellas por Martin.
En 1934, Connie Mack comenzó a desmantelar su equipo por problemas financieros y vendió a Cochrane a los Detroit Tigers, donde fue mánager y jugador. Cochrane llevó a los Tigers a las Series Mundiales de 1934 y 1935.
La carrera profesional de Cochrane terminó de manera abrupta el 25 de mayo de 1937 cuando fue golpeado en la cabeza por lanzamiento del pitcher de los YankeesBump Hadley. Permaneció hospitalizado por siete días, esa lesión casi lo mató. Se le ordenó por parte de sus médicos no volver a jugar béisbol jamás (tenía 34 años de edad). Cochrane regresó al dugout de los Tigers. Permaneció en esa posición hasta el final de la temporada de 1937 y fue reemplazado a mediados de la temporada de 1938. La marca de Cochrane como mánager fue de 348-250, para un porcentaje de victorias de 0,582.
A pesar de su lesión en la cabeza, Cochrane sirvió en la Armada de los Estados Unidos durante la Segunda Guerra Mundial, así como Bill Dickey de los Yankees, dándole a la Armada a los tres mejores cácheres en la historia del béisbol profesional, con Yogi Berra también en su servicio militar pero sin haber jugado aún en las Ligas Mayores.
Cochrane fue elegido al Salón de la Fama del Béisbol en 1947. Siempre fue fumador a lo largo de toda su vida y eso lo llevó a la tumba en 1962 ya que murió en Lake Forest, Illinois de cáncer linfático, a los 59 años de edad.
