Футбольні селекціонери помітили талановитого воротаря на Спартакіаді школярів УРСР, що проводилася в Кременчуці в 1957 році, де Ярчук захищав ворота збірної Дніпропетровської області.
У 1960 році у віці 18 років Ярчук дебютував в основному складі криворізького «Гірника» в першості СРСР. Спочатку грав епізодично, а через пару років став основним воротарем команди. Однією з найкращих для молодого голкіпера стала товариська гра з московським «Спартаком», яка відбулася 20 червня 1964 року. Ярчук відбив практично всі удари москвичів, окрім хитромудрого удару Валерія Рейнгольда. Форвард москвичів так послав м'яч, що той несподівано змінив напрямок і опинився в протилежному від воротаря куті воріт. У цій грі ворота «Спартака» захищав Володимир Маслаченко, теж вихованець криворізького футболу[1].
26 червня 1965 року Ярчук дебютував у вищій лізі радянського футболу в складі донецького «Шахтаря» в грі з ташкентським «Пахтакором», замінивши на 85-й хвилині Коротких при рахунку 3:1. У Донецьку Ярчук за рекомендацією Бобошко — ще одного кріворіжця, який порадив талановитого спортсмена другого тренеру донецької команди Олегу Ошенкову.
У 1966 році Ярчук переїхав до Одеси, де в результаті провів свої найкращі футбольні роки, відігравши за «моряків» в цілому 173 матчі. Для Ярчука 1966 рік запам'ятався не тільки переходом в одеський колектив, а й званням майстра спорту СРСР, отриманим за підсумками сезону.
За шість років, проведених в Одесі, Ярчук був беззаперечним першим номером команди. Будучи у розквіті сил, він тільки один раз — у 1968-у — дозволив Семену Альтману змагатися з собою щодо на рівних (Ярчук — 23 матчі, Альтман — 18). В інших випадках Костянтин Уралець, Альтман й Олексій Нефьодов задовольнялися мінімумом ігрового часу.
Тільки в 1971 році Ярчук на відносно довгі відрізки часу став поступатися місцем у воротах Нефьодову й Альтману, що обумовило його відхід в кишинівський «Ністру» й повернення до Одеси вже тренером. Тренував аматорські командиОдеської області і клубну СКА Одеса (1976 рік).
Помер Олександр Ярчук після важкої тривалої хвороби в Кривому Розі в 1998 році.
