Năm 1965, ông gia nhập lực lượng Thanh niên Xung phong phục vụ chiến trường. Ông được kết nạp Đảng Nhân dân Cách mạng Việt Nam ngày 6 tháng 2 năm 1967, chính thức ngày 6 tháng 2 năm 1968. Đầu những năm 1970, ông được rút về và cử đi học tại Trường Tuyên huấn Trung ương chuyên ngành Triết học. Sau tốt nghiệp, ông được giữ lại làm trợ giảng Khoa Triết học. Trong thời gian làm trợ giảng, ông đăng ký học thêm và Cử nhân ngành Toán, Đại học Tổng hợp Hà Nội.
Đầu những năm 1980, ông được cử làm nghiên cứu sinh, chuyên ngành Triết học tại Viện Hàn lâm Khoa học xã hội thuộc Ban Chấp hành Trung ương Đảng Cộng sản Liên Xô tại Liên Xô, bảo vệ thành công luận văn Tiến sĩ. Sau khi tốt nghiệp, ông trở về nước và được bổ nhiệm làm Phó Trưởng khoa Triết học, Đại học Tổng hợp Hà Nội.
Tại Đại hội đại biểu toàn quốc lần thứ VIII (tháng 6 năm 1996), ông được bầu vào Ban Chấp hành Trung ương Đảng, được phân công làm Phó Giám đốc Thường trực Học viện Chính trị - Hành chính Quốc gia Hồ Chí Minh (nay là Học viện Chính trị Quốc gia Hồ Chí Minh).
Cuối năm 1999, ông được đồng hương là Tổng Bí thư Lê Khả Phiêu trên danh nghĩa Bộ Chính trị bổ nhiệm làm Bí thư Thành ủy Hải Phòng, Bí thư Đảng ủy Quân sự thành phố Hải Phòng.
Tại Đại hội Đại biểu Toàn quốc Đảng Cộng sản Việt Nam lần thứ IX (tháng 4 năm 2001), ông tái đắc cử vào Ban Chấp hành Trung ương Đảng.
Đến năm 2003, ông được điều động trở lại làm Phó Giám đốc Thường trực Học viện Chính trị - Hành chính Quốc gia Hồ Chí Minh.
Cuối năm 2004, ông được bổ nhiệm làm Giám đốc Học viện Chính trị - Hành chính Quốc gia Hồ Chí Minh, Bí thư Đảng ủy Học viện.
Ngày 25 tháng 4 năm 2006, tại Đại hội đại biểu toàn quốc lần thứ X, ông tiếp tục tái đắc cử vào Ban Chấp hành Trung ương, được bầu vào Ban Bí thư Trung ương Đảng.
Tại cuộc bầu cử Quốc hội khoá XIII ông được bầu làm Đại biểu Quốc hội tỉnh Bắc Ninh.
Tại Đại hội đại biểu toàn quốc lần thứ XII ông nghỉ hưu.
Ngày 11/03/2016, Giám đốcĐại học Quốc gia Hà Nội đã ban hành quyết định số 986/QĐ-ĐHQGHN công nhận ông Tô Huy Rứa, Phó Giáo sư, Tiến sĩ, nguyên Ủy viên Bộ Chính trị, Bí thư Trung ương Đảng, Trưởng Ban Tổ chức Trung ương là Hiệu trưởng danh dự Trường Đại học Việt - Nhật thuộc Đại học Quốc gia Hà Nội.
Ngày 29/4/2016, Đại học Quốc gia Hà Nội đã long trọng tổ chức Lễ công bố các Quyết định bổ nhiệm, công nhận lãnh đạo Trường Đại học Việt - Nhật, Đại học Quốc gia Hà Nội. Theo đó, ông Tô Huy Rứa - nguyên Ủy viên Bộ Chính trị, Bí thư Trung ương Đảng, Trưởng Ban Tổ chức Trung ương là Hiệu trưởng danh dự Trường Đại học Việt - Nhật.
Gia đình
Vợ ông là bà Trương Tuyết Nhung, nguyên Trưởng phòng đào tạo, Học viện Báo chí và Tuyên truyền, người được dư luận nhắc đến sau vụ việc chiếc xe biển trắng 30F-462.75 tự động lật sang biển xanh 80B - 4329.[2] Tuy nhiên, chỉ sau 1 ngày, tất cả các bài viết về vụ việc này trên các báo Tuổi trẻ, Thanh niên, Lao động, Người lao động... đã được gỡ bỏ.
Con trai thứ nhất: Tô Tử Hà, Giám đốc cảng Hàng Không Quốc Tế Nội Bài
Con gái út: Tô Linh Hương, sinh năm 1988, học ngành báo chí, được bầu làm Chủ tịch Hội đồng quản trị công ty cổ phần Vinaconex - PVC vào tháng 4 năm 2012[4], nhưng cô chỉ giữ chức vụ này trong vòng 2 tháng, hiện là Phó Vụ trưởng Vụ Tổ chức cán bộ, Bộ Văn hóa, Thể thao và Du lịch [5][6].
Hoạt động chính trị gây tranh cãi
Vụ ông Nguyễn Trường Tô
Luật sư Trần Đình Triển, vào ngày 20 tháng 7 năm 2010 cho đài RFA biết văn phòng Luật sư Vì Dân của ông vì cho đó là một hành động phạm pháp, đã chính thức gửi thư yêu cầu ông Tô Huy Rứa giải thích về việc ông can thiệp vào hoạt động của báo chí bằng cách gọi điện thoại cho các tổng biên tập cũng như một số cơ quan báo chí yêu cầu ngưng đưa tin về vụ ông Nguyễn Trường Tô, chủ tịch UBND tỉnh Hà Giang, mua dâm tại Hà Giang[7][8]. Ngoài ra ông còn đỡ đầu quy hoạch Phạm Văn Vững để làm nguồn Chính ủy Hải Quân, đến khi làm chính ủy Hải Quân, Phạm Văn Vững đã lộ nguyên hình là 1 quan đại tham, đại ăn bẩn rồi bị buộc phải bàn giao chức vụ sau 1 năm nhậm chức trước khi có quyết định nghỉ hưu.
