Народився в містечку Мейлебеке в Західній Фландрії. Походив з дворянської родини. Мешкав в місті Гент, де був помічником художника і письменника Лукаса де Хеере (1534—1584) до 1568 року. Художню освіту удосконалював спочатку у місті Кортрейк, а потім в майстерні художника Пітера Влеріка в місті Турне.
Член камери риторів Гарлема
Дворічні мандри закінчив і повернувся до містечка Мейлебеке, де звернувся до поезії і створення театральних п'єс з релігійною тематикою, а для вистав виготовляв декорації. Зв'язків з камерами риторів не припиняв, збережені відомості, що був членом камери риторів і в місті Гарлем, де доживав віку.
Італійський період
Три роки мандрував по Італії (1574—1577). Серед знайомих цього періоду був відомий художник маньєристБартоломеус Шпрангер (1546—1611). Мав у власній колекції малюнки Шпрангера, котрі вивіз до Нідерландів і показував художникам у місті Гарлем. В Римі виконав декілька замов від кардиналів. Серед творів цього періоду — «Св. Вартоломей».
1578 року митець оселився в місті Мейлебеке. Узяв шлюб з місцевою дівчиною 18 років. Через рік став батьком першого сина. 1580 року родина була вимушена покинути місто через цькування протестантької родини з боку фанатично налаштованих католиків. Родина оселилась в місті Кортрейк. У Кортрейку працював драматургом і художником, виконав вівтарний образ для місцевої церкви. Дружина народила другого сина. 1582 року родина вимушено покинула місто через епідемію чуми і перебралась до Брюгге. Спокійного життя протестантскій родині в католицькому Брюгге не було. Митець з дружиною, дітьми і матір'ю дружини емігрували 1583 року човном до міста Гарлем у Північні Нідерланди, як цезробили тисячі фламандців, що тікали від каральних дій іспанців-католиків.
В Гарлемі митець працював близько 20 років як художник, член камери риторів і історіограф.
Компілятивна книга «Життєписи художників», 1604 р
Другорядний художник, Карел ван Мандер відоміший як автор книги «Життєписи античних, італійських, німецьких і нідерландських художників XV–XVI століть». Твір носить компілятивний характер і є переказом легенд, спогадів і фактів з різних джерел, не завжди достовірних. Карел ван Мандер подав двісті п'ятдесят (250) біографій художників.
Книга не є точною і не відповідає багатьом сучасним вимогам про історичні праці. Але це оцінки твору, що вийшов з руку у 1604 році і багато чого змінилося в науці за 400 років по тому.
Перевагою книги Манлера було повернення в історію мистецтв імен утаємничених, маловідомих геніїв Північної Європи, на яких не звертали уваги егоїстичні письменники Італії, в тому числі і Вазарі. Серед повернутих імен — зірка німецького мистецтва і всієї Європи Маттіас Грюневальд (або Нітхард Готхард).
Життепис самого історіографа і митця
Якоб де Гейн молодший. «Померлий Карел ван Мандер», малюнок
В книзі «Життєписи художників» він рятував хоча би легендарні і уривчасті звістки про старовинних художників Німеччини і Нідерландів, а також про сучасних йому майстрів. Навпаки, нихто не поклопотався про створення життєпису самого Карела ван Мандера. Усвідомивши це, нотатки свого життєпису створив сам Карел. Короткий життепис був оприлюднений у другому перевиданні твору «Життєписи художників», вже посмертному у 1618 році, але без вказівки, хто був його автором. Дослідники запропонували декілька кандидатур, але істину встановили пізніше. Автором міг бути син — Карел ван Мандер молодший, що пам'ятав про батька, використав його біографічні нотатки з додачею власних спогадів. Не все достовірно і в цих додатках, але їх схильні вважати найбільш відповідними неповній біографії самого історіографа.
Геніальний учень
Серед його учнів був уславлений нині Франс Халс, зарахований до трійці геніальних художників Голландії XVII ст.
