Pëtr Končalovskij nacque nel villaggio di Slov"jans'k, nel governatorato di Char'kov nell'odierna Ucraina il 21 febbraio 1876. Suo padre, Pëtr Petrovič Končalovskij Sr. (1839-1904), fu un organizzatore di mostre, mentre sua madre, Viktorija Timofeevna Lojko (1841-1912), era la figlia di un proprietario terriero di Charkiv. Nel 1889, i Končalovskij si trasferirono a Mosca e la loro casa divenne parte dello scenario artistico moscovita nell'ultimo decennio del '800. La loro casa veniva spesso visitata da Valentin Serov, Michail Vrubel' e Vasilij Surikov. In seguito, Pëtr sposò una delle figlie di Surikov, che aveva sempre apprezzato l'arte del genero.
A partire dal 1909, si esibì frequentemente in molte mostre, partecipando anche alla Mir iskusstva. È stato membro fondatore del Bubnovyj Valet nel 1909. All'inizio del 1918 divenne insegnante di arte. Nel 1922, riuscì ad organizzare una mostra personale alla Galleria Tret'jakov.
Durante quel periodo, rappresentò prevalentemente nature morte e paesaggi. I suoi dipinti —come altri del Bubnovyj Valet —vennero molto influenzati dallo stile di Paul Cézanne. In seguito, iniziò a dipingere ritratti (spesso celebrativi) considerati degli esempi del realismo socialista.
Pëtr Končalovskij è stato un pittore prolifico, realizzando più di 5000 opere.