Après avoir servi lors de la Deuxième Guerre mondiale, King rentre à Londres où il prend des cours de saxophone ténor et de clarinette. Son premier engagement professionnel est avec Jiver Hutchinson en 1947. Il joue dès lors dans de nombreux orchestres avant de rejoindre, en , le quintet de Ronnie Scott.
Dans la deuxième moitié des années cinquante, King joue également au sein de l'orchestre de Jack Parnell. Rapidement, il quitte le groupe pour rejoindre le nonet de Scott où l'on retrouve également Derek Humble, Jimmy Deuchar, Ken Wray, Benny Green, Lennie Bush et Tony Crombie.
En 1959, le groupe des Jazz Couriers, dirigé par Ronnie Scott et Tubby Hayes, et dont King est le manager, se sépare. Les deux hommes décident alors d'ouvrir le Ronnie Scott's, que King dirigera jusqu'à sa revente en 2005.
En plus de gérer le club au jour le jour, King est également un des acteurs des négociations entre la Musicians' Union (UK) et l'American Federation of Musicians pour lever l'interdiction faite aux musiciens américains de se produire au Royaume-Uni.
Davantage que les quelques échanges occasionnels (par exemple Stan Kenton et Louis Armstrong), les négociations prévoient des échanges plus réguliers entre musiciens britanniques et américains.
