Після відставки з військової служби займався хліборобством у рідному селі, де володів п'ятьма десятинами землі.
16 березня 1906 року обраний депутатом Державної думи Російської імперії I скликання від Полтавської губернії. Під час діяльності в парламенті був безпартійним. Підписав законопроєкт «33-х» щодо аграрного питання та спільну заяву 20 депутатів (переважно з українських губерній) до міністра внутрішніх справ щодо вчителя з міста Хорол, що на той момент перебував в ув'язненні протягом 4 місяців без пред'явлення звинувачень.
Доля Івана Кириленка після розпуску думи I скликання невідома.