Urodził się w Moskwie w rodzinie szwajcarsko-niemieckiej. Jego ojciec był urzędnikiem, potem dyrektorem firmy ubezpieczeniowej, matka zajmowała się po amatorsku muzyką.
Konstantin Juon uczył się w latach 1892–1898 w Moskiewskiej Szkole Malarstwa, Rzeźby i Budownictwa u Кonstantina Sawickiego, Abrama Archipowa i Nikołaja Kasatkina.
Po ukończeniu szkoły w ciągu dwóch lat kształcił się w pracowni Walentina Sierowa, następnie założył własne studio, w którym wykładał w latach 1900–1917 wraz z I. Dudinem. Do grona ich uczniów należeli m.in. Aleksander Kuprin, Władimir Faworski, Wiera Muchina i bracia Wiesninowie. Juon był jednym z członków stowarzyszenia Świat Sztuki. Od roku 1907 zajmował się również scenografią teatralną.
W roku 1925 został członkiem Stowarzyszenia Artystów Rewolucyjnej Rosji (AChRR). W latach 1948–1950 pełnił funkcję dyrektora Instytutu Naukowo-Badawczego Teorii i Historii Sztuk Plastycznych Akademii Sztuki ZSRR. W latach 1952–1955 był profesorem Moskiewskiego Instytutu Artystycznego im. Wasilija Surikowa. Zmarł w 1958 roku w Moskwie i został pochowany na tamtejszym Cmentarzu Nowodziewiczym.
