Schalk van der Merwe est né à Citrusdal dans la province du Cap le . Après avoir effectué sa scolarité à Citrusdal puis à Paarl, il fait des études supérieures en médecine à l'Université du Cap (1946) et devient chirurgien. Après avoir d'abord exercé à l'hôpital Groote Schuur au Cap, il s'installe à Keimoes, une petite ville du nord de la province du Cap située à 50 km au sud-ouest de Upington. Il se marie en 1947e et a 5 enfants.
En 1955, il est élu conseiller municipal de Keimoes puis devient maire de la ville en 1957. Après 2 mandats non consécutifs, il entre dans la vie politique nationale en 1966 en se faisant élire député de la circonscription de Gordonia comprenant Keimoes.
En 1970, il entre au gouvernement sud-africain dirigé par John Vorster en tant que vice-ministre des Affaires sociales et des Pensions, des Affaires métis et de Rehoboth. De juillet 1970 à août 1972, il est membre du cabinet en tant que vice-ministre de l'Intérieur.
Le , il est nommé ministre de la Santé. Le , son portefeuille ministériel est modifié, incluant le plan, l'environnement et la statistique.
Le , dans le gouvernement de Pieter Botha, il est nommé ministre de la Santé, des Affaires sociales et des Pensions. Son portefeuille est une nouvelle fois élargie le à l'industrie, au commerce et à la consommation avant d'être réduit le .
Le , il est nommé président de la commission des affaires économiques du Cabinet.