Vznikol rozšírením a úpravami paláca Jana Rotleva. Mincmajster Rotlev z Kutnej Hory prenechal palác kráľovi Václavovi IV., čím zachránil svojho syna, ktorému hrozil trest smrti za tasenie meča pri súdnom pojednávaní. Kráľ potom v roku 1383 dom daroval Karolovemu internátu.
V súčasnosti je Karolinum sídlom rektora a centrálnych inštitúcii Karlovej univerzity, zasadá tu akademický senát a slúži na slávnostné a reprezentačné účely, ako napr. promócie, imatrikulácie a pod.