Fils d'un lutteur de foire, il est lui-même catcheur dans sa jeunesse pour payer ses études. Devenu professeur d'anglais et de français, il continue en parallèle à se produire régulièrement sur le ring. En 1969, son ami Barry Hines, qui a écrit le scénario du film Kes réalisé par Ken Loach, le recommande au réalisateur pour le rôle du professeur de sport. Brian Glover se découvre à cette occasion un talent de comédien. Il quitte alors l'enseignement et entame une carrière d'acteur à la télévision et au cinéma, ainsi qu'au théâtre. Son crâne chauve, son physique robuste et son accent du Yorkshire font de lui un second rôle familier du public britannique ; il apparaît dans de nombreuses séries télévisées, parmi lesquelles Play for Today pour laquelle il écrit également des scénarios.