Народився 17 серпня 1876 року в Північному Йоркширі, Англія. Освіту в Ітоні і почав свою кар'єру в Міністерстві закордонних справ Великої Британії в 1900 році. В 1906 році став особистим секретарем лорда Едмонда Фіцморіса, заступника державного секретаря Міністерства закордонних справ Великої Британії.
Генеральний секретар Ліги Націй з 1920 по 1933 рік, коли його призначили послом Великої Британії в Італії. В 1937 році після смерті свого зведеного брата Ерік успадкував титул графа Перта і увійшов до палати лордів. В 1939 році Драммонд повернувся до Англії і під час Другої світової війни служив радником у Міністерстві інформації Великої Британії. З 1946 року і аж до своєї смерті обіймав посаду заступника керівника Ліберальної партії в Палаті лордів.