Походив з дворянської родини. Навчався у Володимирській гімназії. По закінченні гімназії влаштувався у Московський університет, де закінчив юридичний факультет. Мав хист до мистецтва, що було престижним у дворянському середовищі. Водночас із навчанням в університеті відвідував Класи красних мистецтв Анатолія Гунста у період 1886-1891 рр.
Після навчання у Москві перебрався у Петербург, де влаштувався у Імператорську академію мистецтв, де навчався у класі Іллі Рєпіна та П.Чистякова.
Статки і стан дворянина дозволили йому виїхати за кордон і продовжити художню освіту у майстерні Ашбе у місті Мюнхен. Художнє становлення Кардовського розтяглося і ще 1901 року він знову став учнем у майстерні Рєпіна. Лише у віці 35 років він таки отримав звання художника.
Викладач
Кардовський затримався у петербурзі і працював у художній академії. Офіційно з 1903 року він рахувався викладачем у Петербурзькій академії і помічником Іллі Рєпіна в його майстерні. 1907 року він як дворянин отримав посаду професора. Кардовський був серед засновників «Нового товариства художників», що проіснувало до 1917 року.
За часів СРСР
Відомо, що 1919 року він перебрався на житло у власний маєток неподалік міста Переяслав-Залеський. Став членом Переяслав-Залеського науково-просвітницького товариства. 1920 року перебрався у Москву, де знову став викладачем у ВХУТЕМАСі — ВХУТЕИНі, де працював до 1930 року. Напередодні (1929 року) отримав від більшовицького уряду звання заслуженого діяча мистецтв РРФСР.
Два роки (1933—1934) був викладачем у Всеросійській (Ленінградській) академії мистецтв. Два останні роки життя мешкав у власному будинку у місті Переяслав-Залеський.
Власна родина
Був одружений. Дружина — Ольга Дела-вос-Кардовська, художниця, учениця Іллі Рєпіна, походила з України. Донька Катерина була дружиною академіка медицини П. Н. Веселкіна.