1926년, 보성고등보통학교를 졸업하였다. 이후 유학을 떠나 1931년, 일본와세다 대학 사학과(동양사 전공)를 졸업하였다. 일본에서 귀국하여 1934년, 이병도 등의 역사학자들과 함께 진단학회 조직에 참여하였다. 이후 1939~1945년 사이에 중앙고등보통학교 교사 · 이화여자전문학교 강사 등을 역임하였다. 1945년, 서지학회 조직에 참여하였으며 경성대학교 법문학부 교수로 재직하였다.
1945년 8월 15일 해방 이후에는 서울대학교 문리과대학 교수로 재직하였다. 1961년에 정년퇴임한 이후에는 서울대학교 명예교수를 지냈고, 또한 건국대학교 대우교수 · 동아대학교 부산캠퍼스 초빙교수로 일하였다. 1964년, 《동방문화교류사논고》로 서울대학교에서 문학박사 학위를 받았다. 그 외에 중국학회(1962) · 백산학회(1966) · 한국고고학협회(1967) 등의 학술조직 창립에 기여하였다.
1970년 8월 24일, 김상기의 70세 생일을 맞이하여 백산학회에서 《동빈김상기박사고희기념사학논총》을 출간하였다.[2]
1971년 3월, 생활고 등의 사정으로 인하여 사례금을 받고 1만4백70여권에 달하는 장서를 서울대학교 부속도서관에 기증하였다. 서울대학교 측에서는 이를 기려서 김상기가 기증한 장서를 보관하기 위해 따로 동빈문고를 마련하였다.[3]
1977년 3월 22일, 오전 10시 10분에 서울종로구동숭동의 자택에서 향년 77세로 사망하였다.[4]