Основани су 1969. године, а прве дискографске успехе су забележили 1976. године доласком Рајка Дујмића. Те године су учествовали и на сплитском фестивалу са песмом Диридонда, коју је компоновао Зденко Руњић. Убрзо након тога, Дујмић почиње да компонује музику за Нове фосиле, па је група имала запажене наступе и награде и на фестивалима у Дрездену и Братислави.
Група је постала популарна на подручју тадашње Југославије, а на концертима су наступали искључиво са сопственим песмама које је углавном компоновао Дујмић. У том периоду је изашло око 15 сингл плоча и 6 ЛП плоча, на којима су најпопуларније песме биле: Да те не волим, Реци ми тихо, Саша, Шути мој дјечаче плави, Сања, Плава кошуља. У том периоду група је имала турнеје по тадашњем Совјетском Савезу, Америци, Канади и неким земљама Европе.
Године 1986. Нови фосили су добили и награду публике, односно 3. награду стручног жирија на Међународном фестивалу у Дрездену. Плоча За добра стара времена добила је Гран при ЈРТ-а као као најбоља у категорији поп музике у 1986. години.
Године 1987. Нови фосили су представљали Југославију на Песми Евровизије са песмом Ја сам за плес и освојили четврто место. Сингл са песмом објављен је у девет европских земаља.
Спот за песму Кад будемо ја и ти 63 је снимљен у загребачком парку Зрињевац.
Тадашња постава групе службено се разишла 1991. године. Рајко Дујмић и Маринко Колнаго су у измењеном саставу, са две певачице, наступали све до октобра 2001. године, када се група разишла након 30 година постојања.
Стари састав, који је 1991. престао са радом, окупио се поново 2005. године на концерту у Загребу и у истом саставу наступали су до априла 2012. године. Након изненадне смрти бубњара Ненада Шарића, преостали чланови групе су наставили са радом. Рајко Дујмић преминуо је шест дана након саобраћајне несреће 4. августа 2020. у Ријеци.
