1889년(메이지 22년)에 도쿄부(현 도쿄도) 동부의 15구를 구역으로 설립되었다. 1932년(쇼와 7년), 인접 5군이 병합되어 35구가 되었다. 최종적인 시역은 현재의 도쿄도 구부(도쿄 23구)에 해당한다. 1943년(쇼와 18년)에 도쿄부와 통합되어 도쿄도가 되었다.
1889년(메이지 22년) 5월 1일, 전월 시행된 시제와 정촌제에 근거해, 도쿄부 아래에 도쿄시를 만들어 도쿄 15구의 구역을 이관했다. 도쿄시는, 동년 3월 공포된 법률 12호의 시제 특례에 따라 일반시와는 일부 다른 변칙적인 시제였다. 도쿄부지사가 도쿄시장을 겸임하고, 시청과 시직원도 따로 두지 않았다. 한편, 종래의 15구는 각각 단독으로 구의회를 갖고, 도쿄시의 하위 자치체가 되었다.
1898년(메이지 31년) 10월 1일, "시제 특례 철폐법"이 성립, 도쿄시에 일반 시제가 시행되어 도쿄부청 내에 시청이 설치되었다. 지사의 시장 겸임이 폐지되어 도쿄시장은 관선으로 임명되었다. 1926년(다이쇼 15년, 쇼와 원년)부터는 시의회 의원의 호선에 의하여 시장이 선출되게 되었다.
시군 합병과 도쿄 35구
러일 전쟁으로 일본은 경공업에서 중공업으로 산업의 중심이 옮겨졌고, 도쿄~요코하마간에는 서서히 게이힌 공업지대가 형성되기 시작했다. 도쿄시의 인구는 러일 전쟁 종전 직후인 1906년(메이지 39년)에 처음으로 200만명을 돌파했지만, 1908년(메이지 41년)의 약 219만명을 정점으로 1913년(다이쇼 2년)에는 약 205만명으로 감소했다. 그러한 가운데도 도쿄시 주변의 인구는 계속 증가하고 있어 시내와 주변에서 상반되는 상황이 되었다.
다이쇼 연간(1912년)에 들어설 무렵부터 대도쿄(大東京)라는 표현이 보이게 되었는데, 이는 기존의 도쿄시(15구)와 인접 5군 82정촌(에바라군·도요타마군·기타토시마군·미나미아다치군·미나미카쓰시카군 전역. 도요타마군은 히가시타마군과 미나미토시마군이 1896년 합병하여 성립됨)에 종종 기타타마군기누타촌·지토세촌을 더한 지역을 가리킨다. 이는 현재의 도쿄도 구부)(도쿄 23구) 구역에 해당한다.
1914년7월 28일제1차 세계 대전이 발발(1918년 11월 11일 종결), 이에 따라 일본은 1915년 하반기부터 1920년 3월까지 전시 경기로 시내와 주변 모두 인구가 증가했다. 1920년 10월에 실시된 제1차 인구 조사에서 도쿄시의 인구는 약 217만 명이었다.
1922년 4월 24일, 구 도시계획법에 따라 도쿄시와 위의 6개 군 84개 정촌이 "도쿄 도시계획구역"으로 정해졌고, 같은 해 10월 2일에는 도쿄시를 포함한 인구가 많은 6개 도시가 6대도시가 되었다.
1923년(다이쇼 12년) 9월 1일에 간토 대지진이 발생하여, 도쿄시도 피해를 입었고, 특히 시타마치가 큰 타격을 받았다. 이 영향으로 도쿄시의 인구는 감소해, 1925년(다이쇼 14년) 10월의 국세조사에서는, 동년 4월에 제2차 시역 확장을 실시한 오사카시에 인구·면적 모두 밀리고 말았다. 1930년(쇼와 5년) 10월의 국세 조사에서는, 인구 200만명대를 회복했지만, 오사카시와의 차이가 확대되었다.
1932년(쇼와 7년) 10월 1일, 도쿄시는 시역 확장을 실시해, 인근의 5군 82정촌(에바라군·[[도요타마군·기타토시마군·미나미아다치군·미나미카쓰시카군 전역)을 편입하여 새롭게 20구를 설치하여 도쿄 35구가 되었다. 1936년(쇼와 11년) 10월 1일에 기타타마군기누타촌·지토세촌을 세타가야구에 편입하여 현재의 도쿄도 구부의 범위가 확정되었다.
도쿄도제 시행
제2차 세계 대전 중인 1943년(쇼와 18년) 7월 1일, 내무성 주도로 도쿄도제가 시행되면서 지방자치체로서의 도쿄시와 도쿄부는 폐지되고 현재의 "도쿄도"가 설치되었고, 그 동안의 도쿄시청의 기능은 도쿄도청으로 옮겨졌다. 옛 도쿄시 35구는 예전처럼 의회(구의회)를 가지는 자치체 성격을 유지하면서도 도쿄도의 직할 하의 구가 되었다.
종전 후인 1947년(쇼와 22년) 3월 15일, 예전의 도쿄 35구는 도쿄 22구로 재편면서, 같은 해 5월 3일의 지방자치법 시행에 따라 동법이 정하는 특별구가 되었다. 같은 해 8월 1일에 구 네리마정과 4촌의 구역이 이타바시구에서 분리되어 네리마구가 성립, 도쿄도 구부(도쿄 23구)가 되어 현재에 이르고 있다.