Замак лежи на стрмини вишој 60 m од града тј. на надморској висини од око 450 метера надморске висине. Један од набоље сашуваних замкова у Словенији и један од десет замкова који су се налазили током средњег века у Шалешкој долини. Први пут се спомиње 1270. године. Замак је грађен за војно стамбене потребе. Прављен је тако да се тлорис прилагођава подлози. Кроз векове су град више пута обнављали и дограђивали. Данашњи изглед, ренесанчног замка, добио је у 16. веку. Значајне ренесанчне карактеристике су рондела у југоисточном делу замка, прозоти који су сви истог облика и капија источне куле. У мање промене су се десиле у 18. веку. Последња промена из средине 19. века је склањање моста на дизање. Од унутрашње опреме скоро ништа није сачувано.
У 17. веку су кмети заузели, опљашкали и уништили скоро све градове у долини. Велењски замак се одбранио јер је био најутврђенији и најнеприступачнији. Из истог века имамо и податке о два напада Јањичара на замак. Напади су били неуспешни мада су уништили већину насеља у долини.
