그가 국화 왕좌에 오르기전의 그의 개인 이름은 노리히토 친왕(일본어: 憲仁親王) 또는 노부히토 친왕이었다.
다카쿠라 천황은 고시라카와 천황의 4남으로 그의 전임자 로쿠조 천황의 숙부였다.
그의 어머니는 뇨고에서 황태후로 승격된 다이라노 시게코이다. 그녀는 다이라노 도키코의 동생이었는데, 그녀의 언니는 다이라노 기요모리의 아내였다. 그의 황후는 다이라노 도쿠코로, 후에 겐레이 황후가 되었다. 그녀는 다이라노 기요모리의 딸이었다.
비록 다카쿠라는 공식적으로 즉위하였지만 그의 주변의 실제는 황제의 부황과 장인에 의해 조정되었다.