Prva neposredna omemba gradu sega v leto 1286 kot castrum Trachenberk. Leta 1197 se omenja prvi Kozjanski vitez Otto de Trachenberch. Samo naselje Kozje je omenjeno že leta 1016. Grad so leta 1476 oblegali Turki, nekaj let kasneje pa so ga zavzele čete ogrskega kralja Matije Korvina. Leta 1635 so ga zasedli uporni kmetje v kmečkem uporu. Propadati je začel v 17. stoletju.