Kaj Johansen spillede hele sin karriere som forsvarsspiller i Vejle Boldklub. I en ti-årig periode fra 1951-1961 spillede han 220 kampe, men opnåede aldrig at score et mål. Til gengæld oplevede han mange store triumfer i tiden som VB-spiller.
Den 22. maj 1952 var Kaj Johansen en del af holdet, der sikrede VB oprykning til 2. division, og den 10. juni 1956 var han med til at spille VB op i 1. division.