У 1913–1919 роках навчався в Вапнярській початковій залізничній школі. Працював пастухом, потім з жовтня 1919 по квітень 1920 року був різноробочим на гальмівних майданчиках товарних вагонів. З травня 1920 по грудень 1922 року працював колійним робітником, підручним слюсаря. Навесні 1922 року екстерном склав іспити за курс неповної середньої школи, був обраний секретарем Вербовського комсомольського осередку. З грудня 1922 по травень 1923 року — провідник вантажів 1-ї державної заготівельної контори; з травня 1923 по вересень 1924 — бондар, шофер Новоросійського 1-го державного цементного заводу «Пролетарій».
Довоєнна служба
У Червоній Армії з 1924 року. З вересня 1924 по жовтень 1925 року був курсантом Одеської піхотної школи, до якої спрямований по комсомольській путівці Новоросійського окружного комітету комсомолу. З жовтня 1925 по серпень 1928 року — курсант Київської артилерійської школи. Член ВКП(б) з 1928 року. З вересня 1928 по червень 1929 року — командирвзводу 17-го корпусного артилерійського полку Українського військового округу; в червні-липні 1929 року — тимчасовий виконувач посаду начальника зв'язку 17-го корпусного артилерійського полку; в липні-вересні 1929 — знову командир взводу 17-го корпусного артилерійського полку; з вересня 1929 по квітень 1930 — помічник командира батареї з політичної частини 17-го корпусного артилерійського полку; з квітня по липень 1930 — начальник топографічного загону 17-го корпусного артилерійського полку. У 1930 році закінчив вечірню середню школу. З липня 1930 по травень 1931 року — командир розвідувальної навчальної батареї 17-го корпусного артилерійського полку.
З січня по липень 1937 року — начальник штабу 2-го танкового батальйону 8-ї механізованої бригади Київського військового округу; з липня 1937 по травень 1938 — командир 1-го танкового батальйону 8-ї механізованої бригади Білоруського Особливого військового округу; з травня 1938 по липень 1940 — командир 9-го окремого легко-танкового полку Білоруського Особливого військового округу. Атестований як «виключно сумлінний, відмінно знаючий військову справу, користується діловим авторитетом командир». З липня 1940 по березень 1941 року — заступник командира 2-ї танкової дивізії Прибалтійського Особливого військового округу.
Брав участь в оборонних боях Північно-Західного фронту. У серпні 1941 року в складі Новгородської оперативної групи військ дивізія під командуванням І. Д. Черняховського брала участь в обороні Новгорода. У грудні 1941 року 28-ма танкова дивізія була переформована в 241-ту стрілецьку дивізію. З 7 січня по 20 травня1942 року брала участь у Дем'янській наступальній операції військ Північно-Західного фронту.
З 5 по 22 жовтня 1944 року окремі сили фронту спільно з 1-м Прибалтійським брали участь у Мемельській операції. У результаті було ізольоване Курляндське угруповання німців і війська увійшли в Східну Пруссію і північно-східну Польщу.
18 лютого1945 року в районі міста Мельзак (нині Пененжно, Польща) автомобіль генерала потрапив під артобстріл, і він був смертельно поранений. Помер того ж дня.
У 1992 році прах Івана Черняховського, похованого у центрі литовської столиці, був перевезений з міста Вільнюса і перепохований в Москві на Новодівочому кладовищі. Демонтований у Вільнюсі пам'ятник Івану Черняховському роботи народного художника СРСРскульптора М. В. Томського був перевезений до міста Воронежа, який наприкінці 1942 року обороняла, а в січні 1943 року відвойовувала 60-та армія під його командуванням.
На його батьківщині встановлено бронзовий бюст, він був навічно зарахований до списків 1-ї батареї Київського військового артилерійського училища. У місті Одесі споруджено пам'ятник Івану Черняховському. І відкрито музей імені І. Д. Черняховського в селі Оксанина Уманського району Черкаської області.
Вулиці Черняховського існують у ряду міст України.
Указом Президента України від 22 лютого 2013 року № 85/2013 Національному університету оборони України присвоєно ім'я Івана Черняховського (обґрунтування Указу: «Ураховуючи особливі заслуги перед Батьківщиною уславленого сина українського народу, видатного полководця, двічі Героя Радянського Союзу, генерала армії Черняховського Івана Даниловича та зважаючи на високі показники Національного університету оборони України у підготовці висококваліфікованих офіцерських кадрів для Збройних Сил України»)[3].
16 червня 2023 року Президент України Володимир Зеленський скасував указ Януковича про присвоєння університету імені Черняховського[4][5].