Вперше звання маршала армії отримав імператорський радникСайґо Такаморі19 липня1872 року. Проте в травні 1873 була проведена реформа японського табеля про ранги, яка ліквідовувала це звання, і Сайґо став генералом Імперської армії.
В 1898 році уряд прийняв постанову про Маршальську Раду (元帥府条例), за якою вводився довічний титул маршала, що надавався літнім і відмінним генералам армії та адміралам флоту. На час видання постанови титул був наданий трьом генералам — принцу Комацу Акіхіто, Ямаґаті Арітомо та Оямі Івао, та одному адміралу — Сайґо Цуґуміті.
До початку Другої світової війни, титул маршала вважався почесним і, зазвичай, надавався відставним генералам армії й адміралам флоту Японії. Проте на початку 1940-х років Імперська армія Японії розрослася, бойові одиниці (дивізія, армія, фронт) та командування ними ускладнилися, у зв'язку з чим мали місце випадки титулування маршалами генералів дійсної служби — Терауті Хісаїті, Суґіяма Хадзіме і Хата Сюнроку
Маршали, зберігали військове звання генерала, але отримували право носити маршальську емблему (листя павлонії на фоні прапора армії або флоту) та самурайський меч.