Bộ Hải quân được thành lập vào tháng 4 năm 1872, cùng với Bộ Lục quân, để thay thế Bộ Chiến tranh (兵部省,Hyōbushō?) của Chính quyền Minh Trị thời kì đầu.
Ban đầu, Bộ Hải quân chịu trách nhiệm về cả quyền quản lý và điều hành Hải quân Đế quốc Nhật Bản. Tuy nhiên, với việc thành lập Tổng tham mưu Hải quân Đế quốc Nhật Bản vào tháng 5 năm 1893, bộ chỉ giữ những chức năng hành chính.
"Bộ chịu trách nhiệm về ngân sách hải quân, đóng tàu, thu mua vũ khí, nhân sự, quan hệ với Quốc hội và nội các và các vấn đề chung của chính sách hải quân. Tổng Tham mưu điều hành hoạt động của hạm đội và chuẩn bị các kế hoạch chiến tranh".[1] Vị trí Bộ trưởng Hải quân là vị trí có ảnh hưởng chính trị lớn trong nội bộ hải quân. Bộ được thành lập chung với các bộ khác theo hệ thống Nội các của chính phủ năm 1885. Bộ Hải quân và Bộ Lục quân khác với các bộ khác trong nội các là họ không nằm dưới quyền Thủ tướng mà nằm dưới sự chỉ huy trực tiếp của Thiên Hoàng người được coi là Tổng tư lệnh toàn bộ lực lượng vũ trang Nhật Bản theo hiến pháp Minh Trị.
Cho đến những năm 1920, Bộ Hải quân có ảnh hưởng chính trị trên Tổng tham mưu Hải quân. Tuy nhiên, các sĩ quan của Tổng Tham mưu Hải Quân đã tìm thấy một cơ hội tại Hội nghị Hải quân Washington vào năm 1921–22 để cải thiện vị thế của họ. Tại cuộc họp này, Hoa Kỳ và Anh muốn thiết lập một tỷ lệ hải quân trên toàn thế giới, yêu cầu Nhật Bản giới hạn mình thành một hải quân nhỏ hơn các cường quốc phương Tây. Bộ Hải quân sẵn sàng muốn đồng ý với điều này, tìm cách duy trì Liên minh Anh-Nhật, nhưng Tổng Tham mưu Hải quân từ chối. Hải quân Đế quốc Nhật Bản đã bị chia thành các phe phái chính trị thù địch, phe Hạm đội và phe Hiệp ước đối lập thù địch lẫn nhau. Cuối cùng, hiệp ước đã được ký kết bởi Nhật Bản, nhưng bị Nhật hủy bỏ vào năm 1934. Qua thập niên 1930, với sự gia tăng tư tưởng quân phiệt Nhật, phe Hạm đội dần dần lấy được ưu thế trên phe Hiệp ước và thống trị Tổng tham mưu của Hải quân, chống lại sự kháng cự của Bộ Hải quân. Lợi dụng lợi thế, phe hiếu chiến bỏ qua sự cản trở của Bộ Hải quân để tổ chức và thực hiện cuộc Tấn công Trân Châu Cảng tuyên chiến với Hoa Kỳ.
Sau năm 1937, cả Bộ trưởng Hải quân và Tổng tham mưu trưởng Hải quân đều là thành viên của Đại bản doanh Đế quốc.
Schencking, J. Charles (2005). Making Waves: Politics, Propaganda, And The Emergence Of The Imperial Japanese Navy, 1868–1922. Stanford University Press. ISBN0-8047-4977-9.
