Né à Blackburn, dans le Lancashire, Malcolm Shepherd fait ses études à la Lower School of John Lyon et à la Friends 'School, maintenant connue sous le nom de Walden School, une école indépendante du bourg de Saffron Walden dans l'Essex. Il est officier dans le Royal Army Service Corps en 1941 et sert en Afrique du Nord, en Sicile et en Italie, arrivant au grade de capitaine et transféré à ce que l'on appelait les «services spéciaux». Au départ, sa mère et son père sont opposés à ce qu'il rejoigne l'armée en raison de leurs convictions pacifistes.
Après la fin de la Seconde Guerre mondiale, Shepherd et sa femme Allison s'installent à Singapour en tant qu'employé d'une société commerciale britannique. Plus tard, Shepherd achète une part majoritaire dans la société Fielding, Brown and Finch travaillant en Malaisie et à Singapour. À la mort de son père en 1954, il prend un congé de six mois, vient au Royaume-Uni pour régler les affaires de son père et prononce son premier discours à la Chambre des lords avant de retourner en Extrême-Orient et de reprendre sa carrière dans les affaires. En 1958, le siège de son entreprise déménage à Londres et Shepherd s'installe avec sa famille au Royaume-Uni.
Carrière politique
Shepherd devient baron Shepherd de Spalding à la mort de son père en décembre 1954. En 1960, il devient whip en chef adjoint de l'opposition à la Chambre des lords et whip en chef de l'opposition en 1964.
Lorsque Shepherd rejoint la Chambre des lords, elle est entièrement composée de pairs héréditaires avec une large majorité au Parti conservateur. Il n'y a qu'environ 25 à 30 pairs du Parti travailliste. Shepherd est un pragmatique qui s'est rendu compte que s'il voulait permettre aux projets de loi envoyés par la Chambre des communes de passer par la Chambre des lords, il devait conclure des accords avec les conservateurs et entretenir de bonnes relations avec tout le monde à la Chambre.
Bien que modéré dans ses opinions politiques, il est l'un des premiers partisans de la réforme de la Chambre des lords. Il pense qu'il y a trop de cérémonies inutiles et en 1971 soutient que seuls les participants réguliers aux travaux de la chambre devaient pouvoir voter.
Après la victoire des travaillistes aux élections générales de 1964, il devient capitaine de l'honorable Corps of Gentlemen-at-Arms et whip en chef du gouvernement, à la Chambre des lords, poste qu'il occupe jusqu'en 1967, date à laquelle il devient ministre d'État au ministère des Affaires étrangères et du Commonwealth. Il est également leader adjoint de la Chambre des lords de 1968 à 1970.
Shepherd est nommé au Conseil privé à l'occasion de l'anniversaire de 1965.
Il est ministre d'État au ministère des Affaires étrangères et du Commonwealth, poste qui est auparavant connu sous le nom de secrétaire d'État aux colonies. Pendant son mandat au Foreign Office, la Grande-Bretagne est occupée à se débarrasser de l'Empire et il est très impliqué dans les nouvelles constitutions des colonies devenant indépendantes, notamment les Fidji. Shepherd participe à la résolution de la demande d'indépendance de l'île caribéenne d'Anguilla vis-à-vis de Saint-Christophe-Niévès-Anguilla. Il doit également faire face à la guerre du Biafra au Nigeria. Il gagne une popularité particulière à Gibraltar en supervisant l'introduction d'une nouvelle constitution qui liait plus étroitement Gibraltar au Royaume-Uni après la fermeture de la frontière par le gouvernement espagnol du général Franco. Le préambule de Shepherd à la constitution de Gibraltar déclare que «le gouvernement de Sa Majesté ne conclura jamais des arrangements en vertu desquels le peuple de Gibraltar passera sous la souveraineté d'un autre État contre sa volonté». Au sein de la population de la colonie, il est communément appelé «le père de la constitution». Il est également responsable de Hong Kong pendant les émeutes inspirées par la révolution culturelle de 1967; il entretient des relations avec le territoire les années suivantes.
De 1970 à 1974, Shepherd est chef adjoint de l'opposition à la Chambre des lords. En 1974, il devient Lord du sceau privé et leader de la Chambre des lords, poste qu'il occupe jusqu'à sa démission en 1976.
En 1975, Shepherd et son épouse Allison accompagnent la reine et le prince Philip lors de la première visite d'État au Japon.
Shepherd reste un membre actif de la Chambre des Lords pour le reste de sa vie et le 16 novembre 1999, il est créé pair à vie avec le titre de baron Shepherd de Spalding, de Spalding dans le comté de Lincolnshire afin de garder son siège après que la loi sur la Chambre des lords ait supprimé le droit des pairs héréditaires à un siège automatique à la Chambre.
Après avoir démissionné du Cabinet en 1976, il reprend une carrière active dans les affaires et occupe un certain nombre de fonctions publiques.
Shepherd est le premier président du conseil d'administration de l'Unité de recherche sur la rémunération de la fonction publique de 1978 à 1981. Il siège au Conseil de l'Emballage de 1978 à 1980. Il est président du Conseil de la recherche médicale de 1978 à 1982.
De 1976 à 1986, il est vice-président de Rudi Sternberg, qui deviendra plus tard Lord Plurenden, Sterling Group of Companies. En 1979, il devient président de la National Bus Company qui est alors l'une des plus grandes entreprises nationalisées. Shepherd gère une forte augmentation de ses bénéfices qui ont atteint 48 millions de livres sterling en 1984. Il tente de persuader le gouvernement conservateur de ne pas privatiser l'entreprise, met en garde contre la disparition des services ruraux déficitaires et s'est fréquemment heurté au secrétaire aux Transports Nicholas Ridley.
Il est président du Centre Européen de l’Entreprise Publique à partir de 1985 et de l'Institut des Ingénieurs du Transport Routier.
Famille
En 1941, Shepherd épouse Allison Wilson Redmond (décédée en 1998), la sœur du diffuseur James Redmond. Leurs deux fils, Graeme et Douglas, sont nés à Singapour.
Il est en vacances à Lanzarote, où il est décédé subitement le 5 avril 2001. Son fils aîné Graeme hérite du titre héréditaire. Il est enterré avec sa femme, Allison, dans la cour de l'église Muiravonside à Falkirk, en Écosse.