Sau khi Đại lãoIi Naosuke bị ám sát năm 1860, Iwakura ủng hộ Phong trào Kobugattai, một liên minh của triều đình và Mạc phủ. Chính sách trung tâm của liên minh này là đám cưới của Tướng quân Tokugawa Iemochi và Nội Thân vương Chikako, chị gái của Thiên hoàng Hiếu Minh. Võ sĩ Samurai và quý tộc ủng hộ chính sách"Tôn hoàng, nhương di"cấp tiến hơn và nhìn nhận Iwakura như người ủng hộ Mạc phủ, gây sức ép với triều đình lưu đày ông. Kết quả là Iwakura phải rời khỏi triều đình và chuyển đến Iwakura, phía Bắc Kyoto.
Trong cảnh lưu đày
Ở Iwakura, ông đã viết nhiều ý tưởng của mình và gửi cho triều đình hay những đồng minh chính trị ở Satsuma. Năm 1866, Tướng quân Iemochi qua đời, Iwakura nỗ lực để triều đình tiếp thu những sáng kiến về chính trị. Ông cố tập hơn các đại danh dưới danh nghĩa triều đình nhưng không thành công. Khi Thiên hoàng Hiếu Minh qua đời năm sau đó, có tin đồn rằng Iwakura âm mưu ám sát Thiên hoàng bằng thuốc độc, nhưng ông tránh khỏi bị bắt giữ.
Ít lâu sau khi được bổ nhiệm làm Hữu Đại Thần năm 1871, ông dẫn đầu một đoàn đi vòng quanh thế giới trong vòng 2 năm, còn gọi là phái đoàn Iwakura, viếng thăm Hoa Kỳ vài nước Châu Âu với mục đích tái đàm phán lại các hiệp ước và thu thập thông tin giúp cho công cuộc hiện đại hóa Nhật Bản. Khi ông trở về Nhật Bản năm 1873, đúng lúc ngăn chặn được cuộc chinh phạt Triều Tiên (Chinh Hàn Luận). Năm 1873, Kido và Ōkubo đưa ra ý kiến bằng văn bản về hiến pháp. Cả hai ý kiến đều cho rằng Nhật Bản nên xây dựng hiến pháp càng sớm càng tốt nên việc xây dựng hiến pháp đã trở thành vấn đề cấp bách ở Nhật Bản.[1] Trong tình huống này, Ōkubo bị ám sát năm 1878, và Iwakura phải ra tay chọn Itō Hirobumi hoặc Ōkuma Shigenobu làm người kế vị Ōkubo. Itō muốn chế độ quân chủ tuyệt đối ở Đức, và Ōkuma đề xuất một hệ thống nội các nghị viện ở Vương quốc Anh. Cuối cùng, Iwakura đã chọn hệ thống Itō và Đức làm hiến pháp của Nhật Bản.[2] Vào ngày 19 tháng 4 năm 1876, Iwakura trở thành giám đốc của Hội Quý tộc. Tuy nhiên, vào đầu thời Minh Trị, không rõ chính xác họ đang làm gì, và kết quả là họ độc lập hơn sau này, và xung đột thường xuyên xảy ra, đặc biệt là giữa những người thuộc lãnh chúa phong kiến và những người thuộc giới quý tộc trong triều đình. Nó là như vậy. Tuy nhiên, tầng lớp quý tộc mà Iwakura nghĩ đến là tầng lớp quý tộc kiểu châu Âu với nhiệm vụ duy nhất là hỗ trợ hoàng gia. Vì vậy, cần phải làm cho tất cả người dân Trung Quốc hiểu rằng những xung đột nhỏ nhặt dựa trên khuôn khổ cũ là vô nghĩa.
Nhận ra rằng Nhật Bản không có chút tư cách nào thách thức các cường quốc phương Tây trong tình trạng hiện nay, ông chủ trương củng cố cơ cấu triều đình, mà ông cảm thấy có thể hoàn thiện bằng cách soạn thảo một bản Hiến pháp và một hình thức hạn chế của nền dân chủ đại nghị. Ông ra lệnh cho Inoue Kowashi bắt đầu soạn thảo Hiến pháp năm 1881, và ra lệnh cho Itō Hirobumi đến châu Âu để học tập nhiều hệ thống của họ. Vào tháng 3 năm 1882, Itō khởi hành đến Châu Âu. Iwakura đặt nhiều kỳ vọng vào cuộc điều tra Itō.[2] Mặt khác, trong thời gian điều động Itō, Iwakura lo lắng rằng Itō có thể thực sự bị ảnh hưởng bởi Đức. Mặc dù Iwakura chấp nhận xây dựng hiến pháp dựa trên hệ thống của Đức nhưng ông muốn tạo ra một hiến pháp dành riêng cho Nhật Bản. Ngoài ra, Iwakura còn muốn trân trọng truyền thống Nhật Bản và hệ thống hoàng đế.[3] Từ ý tưởng đó, vào năm 1882, Ông đã thành lập một trạm thẩm vấn nội quy để điều tra các nghi lễ hoàng gia và truyền thống Nhật Bản, đồng thời đề nghị cài đặt của Cục biên soạn lịch sử quốc gia năm 1883. Cục này nhằm mục đích dịch lịch sử Nhật Bản sang tiếng Anh.[3]
Qua đời
Tuy nhiên, bản thân Iwakura không thể chứng kiến sự trở lại Nhật Bản của Ito Hirobumi hay việc ban hành Hiến pháp Đế quốc Nhật Bản.
Mặc dù sức khỏe yếu vào đầu năm 1883, Iwakura vẫn đến Kyoto vào tháng 5 để chỉ đạo nỗ lực khôi phục và bảo tồn cung điện hoàng gia cũng như các tòa nhà của thành phố cổ, nhiều công trình trong số đó đã rơi vào tình trạng hư hỏng kể từ khi thủ đô chuyển về Tokyo. Tuy nhiên, chẳng bao lâu sau, ông bị bệnh nặng và phải nằm liệt giường. Hoàng đế Minh Trị đã cử thầy thuốc riêng của mình, Erwin Bälz, đến khám cho Iwakura; Baelz được chẩn đoán ung thư vòm họng giai đoạn muộn). Hoàng đế đã đích thân đến thăm người anh họ và người bạn cũ của mình vào ngày 19 tháng 7, và đã rơi nước mắt trước tình trạng của ông. Iwakura qua đời vào ngày hôm sau ở tuổi 57 và được tổ chức tang lễ cấp nhà nước, lần đầu tiên được chính phủ hoàng gia tổ chức. Ngay trước khi chết, Iwakura đã mời Inoue Kaoru đến. Bälz và Inoue đã ở bên Iwakura cho đến cuối đời.[2] Ông được chôn cất tại Asamadai, Minami-Shinagawa.[3]