Nato ad Aalborg, ha iniziato la carriera per l'Aalborg Chang. Nel 1987, è passato all'Aalborg (AaB), nella massima divisione del campionato danese. Nell'AaB, ha formato una coppia di centrocampo assieme a Peter Rasmussen, e Høgh ha segnato 7 reti in 26 partite.
Con il contratto in scadenza con l'Aalborg nel 1992, ha firmato per i rivali del Silkeborg a novembre 1990.[1] Una clausola sull'accordo gli ha concesso di restare altri sei mesi all'AaB e non ha mai potuto neppure allenarsi col Silkeborg, perché a novembre 1991 è stato ceduto ai campioni di Danimarca del Brøndby.[2]
Al Brøndby ha cambiato la sua posizione in campo, passando dal centrocampo alla difesa. È stato uno dei molti calciatori dello Jutland ad arrivare al Brøndby, in quell'anno: tra gli altri, c'era anche Marc Rieper, con cui Høgh ha giocato anche nella Danimarca. Con il club ha vinto una Coppa di Danimarca. Nell'ultima stagione con la squadra ha subito diversi piccoli infortuni che gli hanno fatto perdere il posto da titolare.
Nel 1994 è tornato all'Aalborg, firmando un contratto triennale da semi-professionista.[3] Ha giocato, per l'AaB, la seconda metà del campionato, poi vinto. Nel mese di giugno del 1995 è passato ai turchi del Fenerbahçe.[4]
Nel primo anno al Fenerbahçe ha formato una coppia difensiva con l'ex calciatore del Brøndby, Uche Okechukwu. Dopo sette anni di digiuno, in quella stagione è arrivata la vittoria in campionato dei Kadıköy. A luglio 1999, è stato ingaggiato dal Chelsea, dove ha trovato la concorrenza di Marcel Desailly e Frank Lebœuf. Con la squadra, ha vinto l'FA Cup 1999-2000. Ha giocato 17 incontri di campionato per i Blues, finché un infortunio alla caviglia non lo ha costretto al ritiro a marzo 2001.[5]
.svg){kind=small}
.svg){kind=small}
.svg){kind=small}
.svg){kind=small}
.svg){kind=small}
.svg){kind=small}
.svg){kind=small}
