1923년 6월 28일 경상북도 영주에서 출생하였고 경성부의 연희전문학교 2년을 수료한 후 일본군 학도병으로 일본 육군예비사관학교를 졸업하고 일본 육군 소위로 복무하던 중 해방을 맞이하고 귀국하였다.[1]
1946년 군사영어학교 1기로 육군 소위 임관 하였으며, 같은 해 1946년 대한민국 육군 중위 진급하였고 그 후 1969년 육군대장으로 예편하였다. 육군참모총장과 중앙정보부장을 맡았다. 그 후 국회의원 출마를 거부하고 자유중화민국 주재 대한민국 대사를 지냈고(1971년 1월~ 1978년 12월)[2][3] 1978년 12월에는 대통령 비서실장이 되었는데 그 직위에서 재직하던 중 1979년 10.26 사건에 관련되어 육군 보안사령부로 끌려가서 심문을 받았다. 그리고 그는 군법회의재판에 회부되어 내란목적살인 및 내란중요임무종사미수죄로 사형을 선고받았다. 또한 그는 예비역 육군대장으로 이미 예편한 상태였지만 신군부 세력에 의해 보충역 이등병으로 정정되었다.[4][5] 이후 무기징역형으로 형량이 감형되었고, 1982년 5월 형집행정지로 석방된 후 1988년 특별사면 복권되었다. 그해 12월 18일 예비역 장군 자격을 회복하였다.[4] 이후 정치에서 손을 뗐다. 그 후 원효실업 회장을 지냈다가 물러났다. 2016년 12월 3일 오후 11시에 숙환으로 타계했다.
언론에서는 이것을 물리적 힘이 법치 질서를 깨며 통치 수단으로 등장하였다고 지적한다.[6]
12.12 이후 김계원은 고등군법회의에서 내란의 죄 대신 단순살인죄가 적용되어 무기징역으로 감형되었다. 그는 88년 말 예비역대장 계급이 복권되는 등 완전한 복권이 이뤄졌으나 군인연금지급신청서류 제출을 '국가에 대한 재산권 행사기간(5년)'의 시효를 넘긴 1988년 7월 14일에 하게 된 까닭으로 이후 연금을 한푼도 지급받지 못했다.[7]