Hill-Wood s-a născut în Londra. Tatăl său, trei unchi și bunicul său au jucat cricket la cel mai înalt nivel pentru clubul Derbyshire CCC.[4] A mers la Colegiul Eton, unde a fost coleg cu fostul președinte al clubului Arsenal, Sir Roger Gibbs. S-a înrolat în Coldstream Guards (un regiment al armatei engleze) iar apoi a intrat în industria bancară, devenind vice-președintele Hambros Bank. S-a căsătorit în anul 1971 și are trei copii: Julian, Charles și Sarah.[5]