Im Oktober 1881 begann Horvat nach Bestehen der Aufnahmeprüfungen das Studium an der Nikolai-Ingenieur-Akademie.[3] Nach zwei Jahren wurde er wegen häuslicher Umstände entlassen und kehrte in sein Bataillon zurück, in dessen Studienkommando er nun lehrte.
Im März 1885 wurde Horvat als Porutschik zum Bau der Transkaspischen Eisenbahn abkommandiert und wurde Beamter für besondere Aufträge beim General Michail Nikolajewitsch Annenkow.[2] Hier wurde die weltweit erste Eisenbahnstrecke durch eine Sandwüste gebaut. Der Bau der Strecke und der Bahnhöfe wurde von zwei Eisenbahnbataillonen durchgeführt, die auch für den Betrieb zuständig waren. Wegen des Personalmangels musste Horvat als Beamter für besondere Aufträge auch Arbeiten eines Gruppenführers, Streckenmeisters und Dampflok-Hilfsmaschinisten übernehmen. Als die Eisenbahnlinie bis Samarqand weitergebaut wurde, erhielt Horvat 1889 die Ernennung zum Chef des neuen Abschnitts mit Beförderung zum Stabskapitän. 1894 wurde er Kapitän.
1895 wurde Horvat in die Ussuri-Region geschickt, um als Chef des 1. Ussuri-Bataillons die Ussuri-Eisenbahn als erstes Teilstück der Transsibirischen Eisenbahn zu bauen.[2] Im September 1896 wurde er zum Chef der Süd-Ussuri-Eisenbahn ernannt. Im Mai 1898 folgte die Ernennung zum Oberst. Ab April 1899 leitete er die zentralasiatische Fortsetzung der Transkaspischen Eisenbahn nach Taschkent.[3]
Im November 1902 erhielt Horvat das Angebot, Geschäftsführer der im Bau befindlichen Ostchinesischen Eisenbahn zu werden.[2] Ab 1903 leitete er den Bau und dann die Geschäfte der Ostchinesischen Eisenbahn bis nach der Oktoberrevolution, wobei er dem Finanzministerium unterstellt war. Er wurde 1904 Generalmajor und 1911 Generalleutnant. Nach der Februarrevolution 1917 war er Kommissar der Provisorischen Regierung für die Ostchinesische Eisenbahn.
Nach der Oktoberrevolution übernahm im Dezember 1917 der HarbinerSowjet der Arbeiter und Bauern die Herrschaft auch über die Ostchinesische Eisenbahn und ersetzte Horvat durch B. A. Slawin als Kommissar der Eisenbahn.[4] Darauf besetzten auf Bitten Horvats chinesische Truppen unter dem Befehl General Zhang Zuolins Harbin und lösten den Sowjet der Arbeiter und Bauern auf, so dass die alte Ordnung wieder hergestellt werden konnte.[3] Horvat leitete weiter den Bahnbereich und sorgte für Ruhe und Versorgung, so dass dieser Bereich das glückliche Horvatien genannt wurde. Am 10. Juli 1918 erklärte er sich bereit, die Oberste Provisorische Regierungsgewalt zu übernehmen, solange die russische nationale Staatsgewalt noch nicht wieder hergestellt sei.[2] Zu ihm kam auch der Vorstandsvorsitzende der Russisch-Asiatischen Bank Alexei Iwanowitsch Putilow und unterstützte ihn. Als sich im Russischen Bürgerkrieg nach langen schwierigen Verhandlungen am 13. September 1918 in Omsk eine „Provisorische Sibirische Regierung“ etablierte, wurde Horvat Oberster Bevollmächtigter für Fernost, dem alle Truppen und Flottenverbände dieser Region unterstellt waren.[2] Nach Alexander Wassiljewitsch Koltschaks Machtergreifung am 18. November 1918 behielt Horvat seine Funktionen. Nach der Ernennung des General Sergei Nikolajewitsch Rosanow am 31. August 1919 zum Chef der Priamur-Region kehrte Horvat aus Wladiwostok nach Harbin zurück und leitete wieder den Bahnbereich.[3] Im Hinblick auf den Personalbedarf der Ostchinesischen Eisenbahn wurde 1920 eine russisch-chinesische technische Schule unter der Leitung Horvats mit dem Verwaltungsratsvorsitzenden Nikolai Gondatti eröffnet.[5] Im April 1922 wurde die Schule als russisch-chinesisches polytechnisches Institut die erste höhere Bildungseinrichtung in Harbin.
Nach dem sogenannten Karachan-Manifest vom 25. Juli 1919, in welchem Sowjetrussland auf sämtliche politischen Sonderrechte und Ansprüche der ehemaligen zaristischen Regierung Russlands in China und damit auch auf die Rechte an der Ostchinesischen Eisenbahn verzichtete, gab Horvat seine Tätigkeit in der Ostchinesischen Eisenbahn auf und ging 1920 nach Peking. 1921–1924 war er Berater der Gesellschaft der Ostchinesischen Eisenbahn in Peking.[2] 1924 wurde er Vorsitzender der Abteilung der Russischen All-Militärischen Union in China.[3] Er setzte sich für das Wohlergehen der Emigranten und den Schutz ihrer Rechte ein. In Harbin wurde in den 1920er Jahren der Bahnhof-Prospekt in Horvat-Prospekt umbenannt.