Su padre era de origen portugués. Durante su juventud y mientras cursaba estudios en secundaria jugó al béisbol de forma constante y tras graduarse en 1946, comenzó a jugar en la liga del Pacífico, con los Oakland Oaks, dirigidos entonces por Casey Stengel. Cuando Stengel due nombrado mánager de los Yankees en 1949, llevó consigo a Martin, quien debutó en las Grandes Ligas en 1950 con este equipo.
Fue un segunda base de regular desempeño a lo largo de su carrera de doce años como jugador. Durante este tiempo, mantuvo una fama de controvertido y en varias oportunidades tuvo encuentros violentos con otros jugadores y mánagers.
Es más conocido por haber sido mánager de los Yankees de Nueva York en cinco ocasiones, ganando el banderín de la Liga Americana dos veces y la Serie Mundial de 1977 con este equipo, además de liderar la Liga Americana con otros cuatro equipos diferentes.