Thời kỳ Hán Vũ Đế, năm Kiến Nguyên thứ 2 (139 TCN), Vũ Đế phế Thái úy, sang năm Nguyên Thú thứ 4 (119 TCN) thiết đặt chức Đại tư mã, thay quyền Thái úy mà điều khiển quân binh trong nước, cũng như Thái úy mà được hưởng 「Kim ấn Tử thụ; 金印紫綬」, gia thêm chức Tướng quân[1][2]. Hai người đầu tiên được thụ chức này là Đại tướng quân Vệ Thanh cùng Phiêu Kị tướng quân Hoắc Khứ Bệnh.
Về sau, do uy quyền của Thừa tướng quá lớn, Vũ Đế đã lấy Đại tướng quân quản lý Thượng thư (尚書). Đại thần có tội, từ Thượng thư hoạch tấu; lựa chọn và bổ nhiệm Ngự sử đại phu, cũng do Thượng thư cân nhắc; quan lại có công tội mà thăng giáng, đăng báo Thượng thư; quan lại ở Châu Quận vào triều tấu sự, tắc gặp mặt Thượng thư. Thừa tướng nếu từng có thất trách, đều do Thượng thư tấu lên kể tội. Bởi vậy, quyền lực Thừa tướng từng bước một bị cướp đoạt, chỉ là ở lễ nghi vẫn là đứng đầu. Thời Hán Chiêu Đế tới Hán Tuyên Đế, Đại tướng quân Hoắc Quang từng nhậm Đại tư mã mà 「Bỉnh chính; 秉政」 trong suốt 20 năm.
Tây Hán hậu kỳ dứt khoát phế bỏ Thừa tướng, sửa lại Đại tư mã, Đại tư đồ cùng Đại tư không[3]. Vào lúc này, Đại tư mã thường kèm thêm chức "Tướng quân" nào đó, như Đổng Hiền là Vệ tướng quân. Quyền uy Đại tư mã sang thời Hán Thành Đế đã rất lớn, cũng tạo tiền đề gia phong Tướng quân cho ngoại thích của nhà Hán, anh của Hoàng thái hậu Vương Chính Quân là Vương Phượng khi ấy làm Đại tư mã Đại tướng quân, phụ chính mà quyền khuynh thiên hạ[4].
Thời Đông Hán, Hán Quang Vũ Đế từng phong Ngô Hán làm Đại tư mã, sau khi Ngô Hán chết thì Quang Vũ Đế muốn làm suy yếu thế lực của Tam công, đem Đại tư mã sửa thành Thái úy. Cuối thời Đông Hán, Đại tư mã lại được đem về song song với Tam công, quyền ở trên Tam công, như thời Hán Hiến Đế có đại thần Lưu Ngu và quyền thần là Xa Kị tướng quân Lý Thôi[5]. Từ đời Hán về sau, Đại tư mã dần không còn được thiết đặt làm chức quan cao cấp nữa.
