Kempff studeerde aan het conservatorium van Berlijn bij de docenten Karl Heinrich Barth piano en later bij Robert Kahn compositie. In 1917 won hij twee Mendelssohnprijzen, zowel voor pianospel als voor compositie. Na de afronding van zijn studie ging hij al op jonge leeftijd optreden als solist zowel op piano als op orgel. Hij kreeg naam als vertolker van het klassieke en romantische repertoire en was beroemd als vertolker van onder meer Schubert, Brahms en vooral Beethoven, van wie Kempff alle sonates voor pianosolo op grammofoonplaten vastlegde, en later die van Schubert. In 1970 legde hij met Yehudi Menuhin alle vioolsonates van Beethoven vast. Hij was beroemd om zijn helder toucher.