Anders Gärderud experimenteerde zonder succes met verschillende onderdelen, tot hij succes kreeg op de steeplechase. Zijn eerste internationale succes behaalde hij in 1964 bij de Europese Junioren Spelen (de onofficiële voorloper van de latere Europese jeugdkampioenschappen) in Warschau, waar hij de 1500 m steeple won in een tijd van 4.08,0. Zijn eerste grote toernooi waren de Olympische Spelen van Mexico-Stad in 1968, waar hij uitviel tijdens de eerste ronde op de 800 m en de 1500 m.
In de volgende jaren concentreerde Gärderud zich alleen nog op de 3000 m steeple en hij startte als favoriet tijdens de Olympische Spelen van München in 1972. Hij had echter last van een ernstige verkoudheid en werd al in de eerste ronde uitgeschakeld. Gärderud kwam tijdens deze Olympische Spelen ook niet door de eerste ronde van de 5000 m. Zeven dagen later liep hij op de 3000 m steeple echter een wereldrecord van 8.20,8.
Tijdens de Europese kampioenschappen van 1974 werd Gärderud net verslagen door Bronislaw Malinowski uit Polen. In 1975 lukte het hem om het wereldrecord op de 3000 m steeple tweemaal te verbeteren. De eerste maal liep hij 8.10,4 en zes dagen later liep hij 8.09,8.
Het hoogtepunt van zijn sportcarrière kwam tijdens de Olympische Spelen in 1976, waar Anders Gärderud de gouden medaille won in een nieuw wereldrecord van 8.08,02. De finish is erg bekend, omdat zijn grootste concurrent Frank Baumgartl uit Oost-Duitsland op dezelfde hoogte kwam, maar bij de laatste horde viel, waardoor Gärderud onbedreigd naar de finish kon lopen. De gouden medaille was voor Zweden het eerste atletiekgoud sinds de Olympische Spelen van Londen in 1948. Voor deze prestatie ontving hij de Bragmedaille van het Svenska Dagbladet (Zweedse dagblad).
Anders Gärderud is ook een oriëntatieloper en was een van de lopers van het winnende estafetteteam van Mälarhöjdens IK tijdens de Zweedse kampioenschappen oriëntatielopen in 1977. Hij verschijnt nu regelmatig op de Zweedse TV als atletiekcommentator en hij was de nationale coach van het Zweedse vrouwen-atletiekteam en het Noorse oriëntatieloopteam.
