انضم أوليفر إلى أتلتيكو مدريد في صيف 2008 وهو بعمر 13 عامًا. أمضى أربعة أعوام يتدرب في فرق الناشئين إلى أن رقّاه دييغو سيميوني إلى الفريق الأول.
في أبريل 2012، اُستدعي أوليفر ليكون في تشكيلة الفريق في مباراة في الدوري ضد ريال بيتيس. يوم 20 أغسطس، في أولى مباريات موسم 2012–13، لعب أوليفر أول مباراة له مع الأتلتي وذلك في مباراة ضد ليفانتي دخل فيها في الدقيقة الرابعة والستين كبديل لزميله أدريان لوبيز وانتهت المباراة بنتيجة هدفٍ لمثله.