Народився в містечку Дергачі, Харківська область. Вихованець СДЮШОР «Металіст» (Харків). Футбольну кар'єру розпочав у 1989 році в складі харківського «Маяка», який фактично був фарм-клубом «Металіста». У команді провів два матчі, зіграв понад 23 матчі в Другій лізі СРСР. Після цього проходив військову службу. У сезоні 1992/93 років виступав в аматорському чемпіонаті України за куп'янський «Оскіл» (4 матчі, 1 гол). Допоміг своєму клубу виграти 5-у зону та здобути путівку до Перехідної ліги. Незважаючи на невелику кількість часу, проведеного на футбольному полі, отримав запрошення від клубу білоруської Вищої ліги«Ведрич» (Річиця). У чемпіонаті Білорусі зіграв 14 матчів, ще 2 поєдинки провів у кубку Білорусі. Під час зимової перерви сезону 1993/94 років повернувся до «Оскола». За підсумками сезону 1994/95 років куп'янський колектив фінішував на 5-у місці, проте цього вистачило, щоб наступного сезону стартувати у Другій лізі. Після цього Олег відіграв ще півтора сезони в команді. Загалом у футболці «Оскола» в чемпіонатах України провів 98 матчів та відзначився 4-а голами, ще 8 матчів зіграв у кубку України.
«Металіст» (Харків)
Під час зимової перерви сезону 1996/97 років повернувся до «Металіста». У футболці харківського клубу дебютував 14 березня 1997 року в переможному (1:0) домашньому поєдинку 24-о туру Першої ліги проти київського ЦСКА-2. Олег вийшов на поле в стартовому складі та відіграв увесь матч[1]. Дебютним голом за «Металіст» відзначився 19 травня 1997 року на 66-й хвилині переможного (4:1) домашнього поєдинку 40-о туру Першої ліги проти рівненського «Вереса». Жилін вийшов на поле в стартовому складі та відіграв увесь матч[2]. У харківському клубі відіграв три сезони, за цей час у чемпіонатах України провів 64 матчі (в тому числі й 6 поєдинків у Вищій лізі) та відзначився 5-а голами, ще 4 поєдинки провів у кубку України. У Другій частині сезону 1997/98 та першій половині сезону 1998/99 років зіграв також 8 матчів за «Металіст-2» у Другій лізі.
«Зірка»
Під час зимової перерви сезону 1998/99 років перейшов до «Зірки», за яку дебютував 7 березня 1999 року в програному (0:1) виїзному поєдинку 16-о туру Вищої ліги проти івано-франківського «Прикарпаття». Олег вийшов на поле в стартовому складі та відіграв увесь матч[3]. Єдиним голом у футболці кіровоградського клубу відзначився 29 травня 1999 року на 75-й хвилині переможного (3:1) домашньому поєдинку 28-о туру Вищої ліги проти сімферопольської «Таврії». Жилін вийшов на поле в стартовому складі та відіграв увесь матч[4]. У «Зірці» був основним гравцем, провів півтора сезони. За цей час у Вищій лізі зіграв 28 матчів та відзначився 1 голом, ще 6 поєдинків провів у кубку України. Окрім цього зіграв 4 матчі (1 гол) у Другій лізі за фарм-клуб кіровоградців — «Зірку-2».
«Поліграфтехніка»
За підсумками сезону 1999/00 років кіровоградці посіли останнє 16-е місце у Вищій лізі та вилетіли до Першої ліги. Олег Жилін залишив команду та перейшов до іншої команди Кіровоградської області — «Поліграфтехніки», за яку дебютував 23 липня 2000 року в програному (0:1) виїзному поєдинку 1-о туру Першої ліги проти ФК «Львів». Олег вийшов на поле в стартовому складі та відіграв увесь матч, а на 40-й хвилині отримав жовту картку[5]. Дебютним голом за «поліграфів» відзначився 22 квітня 2001 року на 31-й хвилині переможного (1:0) домашнього поєдинку 23-о туру Першої ліги проти кіровоградської «Зірки». Жилін вийшов на поле в стартовому складі та відіграв увесь матч[6]. У своєму дебютному сезоні в олександрійській команді допоміг їй посісти 3-є місце в першій лізі та вибороти путівку до Вищої ліги. Загалом же в складі олексанндрійського клубу провів три сезони, був одним з ключових футболістів тієї команди. У чемпіонатах України зіграв 83 матчі та відзначився 6-а голами, ще 5 матчів (1 гол) провів у кубку України.
«Нива», «Геліос» та завершення кар'єри
У 2003 році перейшов до «Ниви», за яку дебютував 18 липня 2003 року в переможному (3:0) домашньому поєдинку 1-о туру Першої ліги проти івано-франківського «Спартака». Олег вийшов на поле в стартовому складі, а на 86-й хвилині його замінив Жолт Нодь[7]. У складі вінницького клубу відіграв один сезон, був одним з основних футболістів команди. У Першій лізі провів 23 матчі, ще 1 поєдинок зіграв у кубку України.
Сезон 2004/05 років розпочав у «Геліосі», за який дебютував 24 липня 2004 року в переможному (4:1) виїзному поєдинку 1-о туру групи В Другої ліги проти чернігівської «Десни». Жилін вийшов на поле в стартовому складі та відіграв увесь матч[8]. Єдиним голом у футболці «сонячних» відзначився 17 жовтня 2004 року на 3-й хвилині переможного (3:0) виїзного поєдинку 11-о туру групи В Другої ліги проти полтавської «Ворскли-2». Олаг вийшов на поле в стартовому складі, а на 88-й хвилині його замінив Віктор Чорний[9]. За підсумками сезону 2004/05 «Геліос» став переможцем групи В Другої ліги та виборов путівку до Першої ліги. Жилін відіграв у харківському клубі ще один сезон, після чого залишив команду. У футболці «Геліоса» у чемпіонатах України зіграв 55 матчів та відзначився 1 голом, ще 2 поєдинки провів у кубку України.
По завершенні кар'єри футболіста розпочав тренерську діяльність. З 2007 по 2008 рік допомагав тренувати харківський «Арсенал». У червні 2011 року призначений головним тренером ФК «Дворічна», також допомагав команді й на футбольному полі як гравець в обласному чемпіонаті (21 матч, 2 голи). У команді пропрацював до кінця року.З червня 2012 по травень 2013 року — тренер у «Геліос-Академії» (Харків), а з травня 2013 року й до розформування клубу — допомагав тренувати першу команду.
