Тепловози ТЕ3 будували одночасно 3 заводи, тому ці тепловози швидко з'явилися в усіх куточках СРСР. Тепловоз ТЕ3 став наймасовішою серією мережі радянських залізниць. З 1956 по 1973 було побудовано 6808 тепловозів (Харківським заводом побудовано 599 тепловозів, Коломенським — 404, Луганським — 5805). Такі масштаби будівництва дозволили в найкоротші терміни завершити перехід на тепловозну і електровозну тягу на всій мережі радянських залізниць.
1956 тепловози ТЕ3 отримало депо РтищевоПриволзької залізниці. Першим в депо прибув тепловоз ТЕ3-021 виробництва Харківського заводу, потім надійшли тепловози ТЕ3 побудови Коломенського заводу (починаючи з номера 1001).
В депо Аткарськ тепловози надійшли 1960, першим був ТЕ3-1250 побудови Коломенського заводу, який надійшов до депо 13 березня.
На Волгоградському напрямку Приволзької залізниці перший ТЕ3 (№ 1034) надійшов 1961.
Перший тепловоз серії ТЕ3 Луганського заводу (№ 2001) направили в депо Родаково, де на початку лютого 1956 він здійснив свій перший рейс на ділянці Луганськ — Сентянівка.
Багато тепловозів ТЕ3 перших років виробництва Луганського заводу направлялися на роботу на Ташкентську залізницю.
Головним недоліком тепловоза був його дизельний двигун, який був не пристосованим для роботи в умовах змінних навантажень, що призводило до його частого виходу з ладу. Недоліки мала і система охолодження: при перегріві дизельного двигуна це спричиняло викид охолоджувальної води. Особливо відчутним цей конструкторський недолік був в безводних районах СРСР, оскільки машиністи були змушені доливати дизельне пальне в охолоджувальну систему, що підвищувало небезпеку виникнення пожежі. Погіршувало ситуацію і погане технічне обслуговування. Пізніше були спроби замінити двигун 2Д100 двигуном типу Д49, однак ця ідея не набула масового характеру.
Прапорець вказує країну виготовлення. В дужках подано роки виготовлення. Курсивом вказано дослідні тепловози. Жирним виділено маневрові тепловози. Ширина колії: 1 — 750 мм, 2 — 1000 мм 3 — 1067 мм, 4 — 1435 мм.
.svg){kind=small}