Nguyễn Mạnh Cầm thuộc dòng họ Nguyễn Khắc, sinh ngày 15 tháng 9 năm 1929 trong một gia đình công nhân ở làng Yên Dũng Thượng nay thuộc phường Hưng Dũng, thành phố Vinh, tỉnh Nghệ An.
Ông được cử sang Bắc Kinh, Trung Quốc học tiếng Nga rồi bước vào ngành ngoại giao năm 1952, làm phiên dịch viên tiếng Nga cùng ông Tạ Hữu Canh tại Đại sứ quán Việt Nam dưới thời Đại sứ Việt Nam đầu tiên tại Liên XôNguyễn Lương Bằng. Sau này ông tiếp tục làm việc ở Vụ Liên Xô và Đông Âu thuộc Văn phòng Bộ Ngoại giao, Vụ theo dõi hội đàm Paris và thực hiện Hiệp định Paris về Việt Nam. Ông đã làm Đại sứ tại Hungary (1973-1976), kiêm nhiệm Đại sứ tại Áo và Iran, sau đó là Đại sứ tại Cộng hòa Liên bang Đức kiêm nhiệm tại Áo, Iran và Thụy Sĩ.
Năm 1981, ông được cử làm Thứ trưởng Bộ Ngoại thương, rồi đến năm 1987 quay lại Bộ Ngoại giao trên cương vị Đại sứ tại Liên Xô.
Tại kỳ họp thứ 9 Quốc hội khóa VIII (tháng 8 năm 1991), ông được cử giữ chức Bộ trưởng Bộ Ngoại giao. Sau đó là Phó Thủ tướng (cho đến năm 2002) kiêm Bộ trưởng Bộ Ngoại giao (cho đến đầu năm 2000). Đây là thời kỳ Việt Nam chính thức bình thường hóa quan hệ với Hoa Kỳ, ký Hiệp định khung về quan hệ với EU và gia nhập khối ASEAN (cả ba sự kiện đều diễn ra vào năm 1995).
Tháng 12 năm 2005, ông được bầu làm Chủ tịch Hội khuyến học Việt Nam thay ông Vũ Oanh.
Ngoài ra, từ sau Hội nghị cấp cao ASEAN năm 2005, ông là thành viên nhóm những nhân vật có uy tín của ASEAN (gồm 10 người, là các cựu nguyên thủ hoặc cựu Bộ trưởng Ngoại giao) có nhiệm vụ phác thảo xây dựng Hiến chương ASEAN.