Ông tham gia cách mạng từ năm 1936 trong phong trào sinh viên Huế và Hà Nội, vào Đảng Cộng sản Đông Dương năm 1939. Từ năm 1938 đến năm 1940, ông tham gia Tổ chức thanh niên dân chủ, rồi Thanh niên phản đế ở trường Trung học Nam Định, là Bí thư Đoàn Thanh niên phản đế Nam Định.
Ông từng bị thực dân Pháp bắt giam vài năm (từ 1940 đến 1945), bị giam giữ tại các nhà tù ở Nam Định, Hỏa Lò (Hà Nội), Sơn La, Khám Lớn (Sài Gòn), Côn Đảo.[3]
Ông là Bí thư Thanh niên cứu quốc, sau đó là Trưởng ty Công an, Phó Bí thư Tỉnh ủy Cần Thơ. Từ năm 1948 đến năm 1949, ông là Trưởng ty Công an, sau đó là Phó Bí thư, rồi Bí thư Tỉnh ủy Mỹ Tho.
Từ năm 1950 đến năm 1954, ông là Phó Giám đốc Sở Công an Nam Bộ, ban đầu (1950-1952) làm Phó Bí thư, Bí thư liên chi chính quyền Nam Bộ, sau đó (1952-1954) phụ trách Công an miền Đông Nam Bộ.
Từ năm 1954 đến năm 1960, ông là Phó ban, sau đó là Trưởng ban địch tình Xứ ủy Nam Bộ, Xứ ủy viên dự khuyết Xứ ủy Nam Bộ (1958-1960).
Từ năm 1960 đến năm 1965, ông là Bí thư Khu ủy miền Đông Nam Bộ, Chính ủy Quân khu miền Đông Nam Bộ.
Từ năm 1965 đến năm 1975, ông là Ủy viên Thường vụ, Phó Bí thư, Bí thư Thành ủy Sài Gòn – Gia Định, Chính ủy Quân khu Sài Gòn – Gia Định.
Tham gia chính quyền Thành phố Hồ Chí Minh
Sau khi kết thúc cuộc chiến tranh Việt Nam, ông lần lượt làm Phó Bí thư, Phó Chủ tịch Ủy ban Quân quản Sài Gòn – Gia Định, Bí thư Đảng ủy, Giám đốc Sở Công an Thành phố Hồ Chí Minh (1975-1976), Phó Bí thư thứ nhất Thành ủy, rồi Phó Chủ tịch UBND Thành phố Hồ Chí Minh. Sau đó ông làm Chủ tịch Ủy ban nhân dân Thành phố Hồ Chí Minh (03/1979-06/1985).
Ông được bầu làm Ủy viên Ban chấp hành Trung ương Đảng các khóa IV, V, VI.
Lê Đức Thọ tên thật là Phan Đình Khải, Nguyên Cố vấn Ban Chấp hành Trung ương Đảng, nguyên Trưởng ban tổ chức Trung ương, nguyên Ủy viên Bộ chính trị Đảng Cộng sản Việt Nam.
Đinh Đức Thiện tên thật là Phan Đình Dinh, Thượng tướng Quân đội nhân dân, Thứ Trưởng Bộ Quốc phòng Việt Nam.
Đóng góp
Ông được xem là một trong những nhà lãnh đạo có đường lối cứng rắn, đóng vai trò chủ yếu trong việc xây dựng ngành công an của nước Việt Nam thống nhất thời tại vị (1986-1991). Ông được Nhà nước Việt Nam phong hàm Đại tướng Công an nhân dân đầu tiên của Việt Nam (ngành An ninh) vào tháng 5 năm 1989.
Cùng với hai vị lãnh đạo khác ở thành phố Hồ Chí Minh lúc bấy giờ là cố Tổng bí thư Nguyễn Văn Linh và cố Thủ tướng Võ Văn Kiệt, ông Mai Chí Thọ là người ủng hộ và khởi xướng cho thời kỳ Đổi Mới ở Thành phố Hồ Chí Minh từ trước năm 1986.
Ngày 12 tháng 1 năm 2007, ông được trao tặng Huân chương Sao Vàng, huân chương cao quý nhất của nhà nước Việt Nam.[5][6]
Tên của ông được Hội đồng nhân dân Thành phố Hồ Chí Minh đặt đoạn đường thuộc dự án Đại lộ Đông - Tây từ đường hầm sông Sài Gòn đến Xa lộ Hà Nội (thuộc địa bàn thành phố Thủ Đức) đã hoàn thành và đưa vào sử dụng ngày 20/11/2011. Tại Hà Nội, tên của ông được đặt cho một con đường chạy qua phía tây khu đô thị Việt Hưng đến khu đô thị sinh thái Vinhomes Riverside, nối với đường Hội Xá.