Horst trat 1844 als Kadett in die österreichische Armee ein und wurde 1846 Offizier. Nach dem Deutschen Krieg 1866, der für das Kaisertum Österreich so verheerend ausfiel, legte Horst in einer Denkschrift einen Plan zur Reorganisation des österreichischen Heeres nach preußischem Muster vor. Er wurde daraufhin in die Organisationskommission in Wien berufen, später gehörte er auch dem Marschallsrat an. Der Kriegsminister Freiherr von Kuhn beauftragte Horst mit der Ausarbeitung und später auch mit der parlamentarischen Vertretung der Gesetzentwürfe, die sich mit der Heeresreform befassten.
Am 25. Juni 1880 trat Horst als Minister zurück, da er die vom Innenministerium eingeschlagene Richtung nicht billigte. Er verzichtete auch auf sein Mandat im Reichsrat. Er ist auf dem St.-Leonhard-Friedhof in Graz beigesetzt.
