Da det ville tage mange år at udvikle et helt nyt fly, valgte man, som en slags nødløsning, at basere det nye bombefly på et design, som til forveksling ligner den kendte Mirage III jager.
Udviklingen af flyet, som skulle have to motorer, startede i 1957 og første flyvning var i 1957. Flyet tilgik Armée de l'Air i operativ tjeneste i 1964.
En del Mirage IV blev også ombygget/bygget, så de kunne udføre strategiske rekognosceringsopgaver fra stor højde i høj fart.
Flyet var egentlig tænkt som en nødløsning, som kun skulle flyve i en begrænset periode, men der kom aldrig en afløser. Flyet udgik af aktiv tjeneste i 2005.
