Олександр народився в Києві в родині футболіста Олександра Головка. Футболом почав займатися у клубі, за який виступав його батько — київському«Динамо». Свій дебютний матч він провів 3 червня2009 року в чемпіонаті ДЮФЛУ проти київського «Атлета», вийшовши на заміну за 13 хвилин до кінця зустрічі. У дебютному для себе сезоні в ДЮФЛУ Головко у складі «біло-синіх» став чемпіоном України серед 14-річних. Проте вже наступного сезону в пошуках ігрової практики Головко-молодший перебрався в київську «Зірку». У її складі він провів чотири матчі, і перед сезоном 2010/11 повернувся в «Динамо».
Тренер «Динамо» (U-16) Олексій Дроценко відзначав прогрес Головка, а також схожість манери гри юного захисника з його знаменитим батьком. Але за осінню частину сезону у складі «Динамо» U-16 він з'являвся на полі лише тричі, щоразу виходячи на заміну. Стабільно став потрапляти до складу Головко після переходу в Республіканське вище училище фізичної культури. Уже у весняній частині першості він зіграв за РВУФК 9 матчів, шість із яких в основі. У чемпіонаті U-17 Головко був уже одним з основних гравців РВУФК, провівши за сезон 17 матчів, 12 із яких у стартовому складі.
Після закінчення футбольної школи влітку 2012 року Головко півроку виступав у київському «Арсеналі», за який зіграв 12 матчів у чемпіонаті U-21 і один матч у чемпіонаті U-19.
У лютому 2013 року Олександр уклав трирічний контракт із київським «Динамо». Дебют у футболці «біло-синіх» тепер уже на рівні U-19 відбувся 3 квітня в домашній грі 6-го туру другого етапу чемпіонату проти полтавської «Ворскли», яка проходила на одному з полів заміської бази в Конча-Заспі. За рахунку 3:0 на користь киян старший тренер команди Валентин Белькевич випустив Олександра на поле на 75-й хвилині зустрічі. До кінця сезону 2012/13 Головко ще чотири рази з'являвся на полі, а нового сезону став залучатись і до матчів «Динамо» U-21. Усього за два з половиною роки захисник провів 14 матчів у юнацькій і 10 матчів у молодіжній команді «Динамо».
