Durant la Seconde Guerre mondiale, il occupa plusieurs rangs dont celui de Brigadier-générale. Après la Guerre, Drury fut engagé par les Nations unies dans un programme de réhabilitation des territoires qui avaient été sous le contrôle des puissances de l'Axe.
Il occupa de nombreux postes de ministre dans les cabinets de Lester B. Pearson et de Pierre E. Trudeau, dont ceux des Finances, des Travaux publics, de la Défense nationale, de la Production de défense, de l'Industrie, du Commerce, président du Conseil du Trésor et ministre d'État aux Sciences et aux Technologies.
Lorsqu'il quitta la scène politique, il devint président de la Commission de la capitale nationale (1978-1984). Il sera décoré de l'Ordre du Canada en 1980.