Несмотря на природную замечательную память, учёба в гимназии ему давалась с трудом. После разорения отца и бегства семьи в Москву в 1876 году Иван остался с братом Антоном в Таганроге. Жили они в Таганроге порознь: Антон жил у бывшего квартиранта Чеховых Селиванова, а Иван — с тётей Фенечкой в родительском доме[2]. На жизнь Иван зарабатывал переплётным ремеслом, учась в гимназии и вечерами переплетая книги.
Окончив 5 классов гимназии и оставив её из-за тяжёлого материального положения, в июне 1877 года Иван отправился к семье в Москву. Отношения с отцом не сложились, и он был вынужден жить самостоятельно. Главным помощником брату оказался Антон. В январе 1880 года Иван успешно сдал экзамен на звание учителя городского, приходского и начального училища в педагогическом совете Звенигородского уездного училища. К этому времени он уже приступил к обязанностям учителя в Воскресенском городском училище с окладом в 420 рублей в год.
В 1884 году стал учителем Мещанского мужского училища Московского купеческого общества. С весны 1886 года стал заведовать Арбатским городским начальным казённым училищем. Зимой 1887 года, после закрытия Арбатского училища, И. П. Чехова перевели в Мясницкое городское начальное училище, где он проработал полтора года, заслужив поощрение «за особое усердие в исполнении преподавательских обязанностей»[1].
Герой рассказа А. П. Чехова «Иван Матвеевич» списан с Ивана[3], когда тот ещё до поступления в учителя, нуждаясь в заработке, ходил через всю Москву к писателю П. Д. Боборыкину.
В 1893 году женился на Софье Владимировне Андреевой, с которой вместе работал в Петровско-Басманном городском начальном училище[4]; 21 августа 1894 года у них родился сын Владимир[1].
Будучи членом Московской городской Думы, Иван Чехов постоянно заботился о своей школе, выбивая и выпрашивая для неё всё, что было позволительно[2].
Иван пользовался безграничным уважением и доверием своего брата Антона. Ему единственному из всей семьи Антон Павлович сообщил о предстоящем венчании с Ольгой Книппер[2].
За 25-летние труды по народному образованию И. П. Чехов получил грамоту на звание потомственного почётного гражданина, что приравнивало его к детям личных дворян и священнослужителей, к лицам с учёными степенями и купцам 1-й гильдии, награждённым орденами. К нему постоянно направляли зарубежных и отечественных педагогов за опытом образцовой постановки учебного процесса. Репутация его уже была такова, что весьма состоятельные родители приводили своих детей к нему на обучение. Один из родителей, к примеру, сказал, что он не беден и мог бы отдать сына в гимназию, но подождёт годик: «Пусть погреет свою душу около Ивана Павловича. Ведь это на всю жизнь»[1].