In 1940 kwam Zarra bij Athletic de Bilbao, nadat hij eerder bij amateurclub Erandio had gespeeld. Bij Bilbao werd Zarra zes keer pichichi, topscorer van de Primera División: in 1945 (22 goals), 1946 (24 goals), 1947 (34 goals), 1950 (25 goals), 1951 (38 goals) en 1953 (23 goals). Hij was tevens all-time topscorer van de Primera División met 254 doelpunten in 277 wedstrijden. Zijn 38 treffers in het seizoen 1950/51 leverden Zarra het record van meeste doelpunten in één seizoen op. Dit record werd pas in het seizoen 1989/90 geëvenaard door Hugo Sánchez van Real Madrid. Dit record staat sinds het seizoen 2011/12 op naam van Lionel Messi met 50 treffers.
Met Athletic de Bilbao werd Zarra in het seizoen 1942/43 kampioen. Bovendien werd in 1943, 1944, 1945 en 1950 de Copa del Generalísimo gewonnen. In 1955 vertrok Zarra bij Athletic de Bilbao. Daarna speelde hij bij SD Indauchu (1955/56) en Barakaldo CF (1956/57).
Nationaal elftal
Zarra speelde tussen maart 1945 en juni 1951 twintig interlands voor Spanje, waarin hij evenzoveel doelpunten maakte. Hij nam deel aan het Wereldkampioenschap voetbal 1950, waarin Spanje de halve finale bereikte. Tijdens dat toernooi scoorde Zarra vier doelpunten, waaronder het winnende tegen Engeland.