La formazione di queste due unità risale alla fine del III secolo, per opera dell'imperatore Diocleziano, il quale intendeva rimpiazzare la tradizionale guardia del corpo imperiale, la guardia pretoriana, che spesso aveva causato la caduta dell'imperatore in carica, macchiandosi del suo sangue.[1] Diocleziano decise allora di promuovere due legioni a lui fedeli provenienti dalla stessa zona di cui era originario, l'Illirico: scelse le legioni V Iovia e VI Herculia, rinominandole Ioviani e Herculiani, in onore di Giove e Ercole, le due divinità protettrici rispettivamente di Diocleziano e del suo collega Massimiano.[2] Tra i comandanti degli Ioviani e degli Herculiani era Magnenzio, che si ribellò nel 350 contro l'imperatore Costante I e fu sconfitto solo nel 353 da Costanzo II.[3]
Nel tardo IV secolo/inizio V secolo, sono attestate due legioni, derivate dagli Herculiani: gli Herculiani seniores, in Occidente sotto il comando del magister peditum,[4], e gli Herculiani iuniores, in Oriente sotto il comando del magister militum praesentalis,[5] Nel 398 i Ioviani e gli Herculiani d'Occidente furono inviati in Africa a combattere contro il ribelle Gildone.