Fils de Pieter Norbertus Graaff, David Pieter est né en 1859 près de Villiersdorp dans la colonie du Cap.
En 1870, âgé de 11 ans, il commence à travailler dans la boucherie de son grand-oncle au Cap tout en suivant un enseignement privé. En 1881, avec son jeune frère, Jacobus, il reprend la boucherie de son oncle et se lance avec succès dans les affaires en fondant la première société de stockage réfrigérant d'Afrique du Sud.
Graaff est aussi à l'époque le commandant de la garnison d'artillerie du Cap.
Conseiller municipal du Cap à partir de 1882, il est maire de la ville en 1891 et 1892. Il prend les mesures pour introduire l'électricité publique et privée dans la ville.
Durant la seconde guerre des Boers, il fait des affaires lucratives pour fournir l'armée britannique sur les champs de bataille. Parallèlement, il effectue d'importantes donations aux associations d'aides aux Boers, prisonniers de camps de concentration ou victimes de guerre.
Après la guerre, il diversifie ses activités et achète un vignoble près du Cap.
Avec son frère, il finance la construction des bâtiments du lycée De Villiers Graaff à Villiersdorp en 1906.
En 1908, il est de nouveau élu député du parlement de la colonie du Cap.
De 1908 à 1910, il est ministre sans portefeuilles dans le gouvernement du premier ministre du Cap, John X. Merriman.
En 1910, il est élu député au parlement de l'Union Sud-africaine.
En 1911, il est anobli dans l'ordre de l'Empire Britannique avec le titre de baron. Il entre au gouvernement du premier ministre sud-africain Louis Botha comme ministre des travaux publics et des postes et télégraphes. En 1912-1913, il est ministre sans poste attribué.