1962년 4월 해병 대령 변재갑이 부산시장에서 해임되자, 현역 육군 준장의 신분으로 경상남도 부산시장에 임명되었고, 1963년 1월 부산시가 직할시로 승격하면서 예편하고 (정부 직할) 부산시장이 되었다. 그렇게 역대 부산광역시장 중에서도 경상남도 부산시에서 (정부 직할) 부산시로 승격되던 시기의 시장이 되었으며, 1966년 3월 윤치영이 경질되면서 당년 4월에 서울특별시장으로 자리를 옮겼다.
"불도저"라는 별명을 갖고 있던 김현옥은 별명답게 진짜 불도저처럼 아파트 건설을 밀어붙였다. 김현옥은 1969년부터 1971년까지 3년 동안 240억 원을 투입해 2천동 10만호의 아파트를 산비탈과 고지대에 있는 무허가 불량주택을 모두 헐고 짓는다는 야심찬 계획을 세우고, 1969년의 경우 서울시 총예산(416억원)의 12.4%에 해당하는 51억원을 시민아파트 건설에 썼다.[3]
김현옥은 세종로와 명동에 지하도를, 종묘 앞 필동 간 소개도로에 세운상가를 건립하고, 여의도에 제방을 구축해 여의도의 현재 모습을 갖추게 하였다. 강변북로를 건설하고, 국내 최초의 고가도로인 아현고가도로와 서울역고가도로를 건설하였다. 남산 1, 2호 터널과 삼청터널 그리고 사직터널도 개설하였다. 복개된 청계천 위에는 청계고가도로를 건설하였다.
1970년4월와우 아파트 붕괴사고의 책임을 지고 사임하였다. 그 후 1971년내무부 장관으로 복귀, 1973년 2월까지 있었다. 1971년 2월에는 육상경기연맹 회장에 추대되었고, 1972년의 제8대 국회의원 선거에 출마하였으나 낙선하였다. 1973년 2월 내무부장관을 사퇴한 이후 유스호스텔협회 회장과 복지법인 정립회관 이사장 등으로도 활동했다.
생애 후반
1973년 행정 비상임위원, 1977년 한국유스호스텔협회 회장과 정립회관(소아마비협회) 이사장에 선출되었다.
그 후 공직을 떠나 조용히 지내다가 1980년 신군부에 의해 부정축재자로 몰리게 되었다.[4] 1981년 5월 부산 양산군 기장에 있는 장안중학교 교장으로 부임한 뒤 그 곳에서 여생을 보냈다.[5]
1995년 대한민국 제1회 지방 선거에 부산시장으로 출마, 169,652표로 문정수, 노무현에 이어 3위를 기록하기도 했다. 1997년 한양대학교병원에서 사망했다.
60년대 말 서울의 판잣집은 기어이 해결해야 할 과제였습니다. 도심·외곽 할 것 없이 들어찬 판자촌은 한 마디로 서울의 행정을 마비시킬 정도였으니까요. 내 발상은 간단했습니다. 쓰러질 듯 누워 있는 판잣집을 번듯하게 일으켜 세우자는 게 그것이었습니다. 바로 아파트지요. 당시에는 서대문 금화지구 7만 채를 포함, 서울시 1백만 평 땅에 14만5천재의 판잣집이 널려 있었습니다.
.jpg)
.jpg)