Budova byla navržena roku 1972 architektem Pavlem Švancerem. Z důvodu nedostatku peněz byla budova stavěna brigádnicky v rámci akce Z až dva roky po dokončení projektové dokumentace. Byla stavěna jako podniková budova podniku Kolora a byla dokončována i v posledních hodinách před slavnostním otevřením.[1] To se konalo 8. prosince1979.[2] Středisko bylo rozděleno do tří částí a v roce 1986 k němu přibyla budova hotelu, postavená ve stejném stylu.[3]
Po sametové revoluci budova připadla do rukou státu. Roku 2003 město odkoupilo zanedbanou budovu kulturního centra za 3 miliony korun. Roku 2014 byla budova Kulturního centra Golf zateplena.[4] Přilehlý hotel byl zakoupen městem Semily v roce 2019 za 3,675 milionu korun.[5] Město pak usilovalo o zapsání komplexu jako kulturní památky.[6] Tomuto záměru Ministerstvo kultury ČR nevyšlo vstříc a příslušný návrh zamítlo. Místní správa však hodlá nadále s objektem zacházet jako s významným kulturním dědictvím.[7]
