Tsang wurde in Shanghai geboren, besuchte das Wah Yan College in Hongkong und Kowloon. Später ging er auf das McMurry College in Abilene, Texas, und wechselte dann an die Universität in Berkeley, Kalifornien, wo er seinen Abschluss in Architektur machte.[2]
Anfang der 1960er Jahre kehrte er als Architekt nach Hongkong zurück, war aber von der Arbeit gelangweilt, sodass ihm seine Schwester Jeanette Lin, die zu dieser Zeit ein gefragter Filmstar war, mit Verbindungen zu der Branche versorgte, die dann seine Schauspielkarriere ankurbelten. Bereits im Jahr 1955 gab er sein Debüt mit dem Film „The Feud“ (1955). In den 1960er Jahren spielte er überwiegend in Detektivfilmen und klassischen Kung-Fu-Filmen mit.[2]
Tsang war dreimal verheiratet. Im Jahr 1969 heiratete er ein Mitglied der Zirkustruppe „Lan Di“ (藍娣, Lán Dì, JyutpingLaam4 Dai6) und sie bekam von ihm einen Sohn. Zehn Jahre später ließen sie sich scheiden, wobei der Sohn bei der Mutter blieb. 1980 ehelichte er die Kolumnistin und das Model Barbara Tang (鄧拱璧, Dèng Gǒngbì, JyutpingDang6 Gung2bik1), mit der er eine Tochter (Musette Tsang, 曾慕雪, Zēng Mùxuě, JyutpingZang1 Mou6syut3)[8][9] hat. Die Scheidung erfolgte ebenfalls zehn Jahre später. 1994 heiratete er Lisa Chiao Chiao (焦姣, Jiāo Jiāo, JyutpingZiu4 Gaau2; * 1943)[10], eine in China geborene taiwanesische Schauspielerin.[2]
Er war der ältere Bruder von Jeanette Lin Chui (wirklicher Name 曾懿貞, Zēng Yìzhēn, JyutpingZang1 Ji3zing1, kantonesischTsang Yi-cheng, 1936–1995), erste Ehefrau von Eastern-Schauspieler Jimmy Wang Yus, und somit der Onkel des bekannten Cantopop-Sängerin Linda Wong (王馨平).[2][5]
