1583년 교토에서 태어났다. 어릴 적부터 수재로 알려졌었고, 1595년 교토의 겐닌지(지금의 교토시히가시야마구 소재)에서 불교를 배우지만, 승적에 오르는 것은 거부하고 집에 돌아와 독학을 하면서 주자학에 열중한다. 1604년 후지와라 세이카를 만나 큰 영향을 받는다. 후지와라 세이카는 당시 정유재란으로 일본에 끌려온 성리학자 강항의 영향을 받았다. 후지와라는 라잔의 영민함에 감명을 받아, 1605년 제 1대 쇼군인 도쿠가와 이에야스에게 그를 천거한다. 이에야스는 23세인 약관의 라잔을 자기 곁에 두었고 도쿠가와가의 선생으로 발탁한다. 이때 라잔이 이에야스를 알현했던 곳이 교토의 니조성 이라고 한다.
1607년에는 2대 쇼군인 도쿠가와 히데타다에게 경전을 가르쳤다. 제 3대 쇼군인 도쿠가와 이에미쓰의 스승이 되었고 이후 막부의 정치에도 관계하였다. 1635년에 무가제법도의 기초를 담당하였고 다음 해에는 이세 신궁참배 예전에도 참여하였다.
1632년 우에노의 시노부가오카(지금의 도쿄도다이토구우에노 공원 일대)에 학문소 및 선성전(先聖殿) 등을 건립하였고 이것이 나중에 쇼헤코(昌平黌)의 기원이 되었다.
라잔의 쇼헤코는 에도시대 유학의 총본산이 되었고 유학을 장려하는 에도막부에 의해 최고의 교육기관으로 자리잡았다. 훗날 쇼헤코는 도쿄대의 원류가 된다. 하지만 도쿄대의 설치해인 1877년 보다 앞서 1871년에 폐지되었으므로 직접적인 관계는 없다.
이후, 다이가쿠노카미(大學頭)라고 하여, 3대손인 하야시 호코 때부터 이후 라잔의 후손은 대대로 도쿠가와 막부의 학문의 책임을 지게 된다.
1656년 처를 잃고는 그녀의 죽음을 애도하는 시를 26수를 남겼다. 다음 해 메이레키 대화재에 의해 집과 서고를 소실하고, 4일 후에 사망한다.
