Régi horvát-magyar nemes család szülötte. Már gimnazista és egyetemista korában is feltűnt zongorajátékával és zeneírói tehetségével. 1862-től Mosonyi Mihály tanítványa volt, majd 1865-ben Lipcsébe ment, ahol Hauptmann vezetése mellett végezte el tanulmányait. 1866 és 1869 között három évet töltött Hans Guido von Bülow mellett, mint zongorista-növendék, de akihez mély barátság is fűzte. Szintén barátság alakult ki a fiatal Mihalovich és az idős Peter Cornelius között, aki tanítványát az ellenpont és a zeneszerzés gyakorlati kérdéseibe avatta be. Mihalovich 69-ben beutazta Olaszországot, később pedig Budapesten telepedett le Liszt határozott tanácsa ellenére. Első zenekari hangversenyét 1870-ben tartotta. Baráti kapcsolatban állt Wagnerrel és Liszttel, zeneszerzeményeiben az ő irányzatukat is követte. Liszt Ferenccel több ízben játszott négykézest két zongorán, nyilvános hangversenyeken. Az 1880-as években Festetics Leó gróf halála után, 1881-től a Színitanoda, majd 1887-től az Országos Magyar Királyi Zeneakadémia igazgatójává nevezték ki. Irányítása alatt a Zeneakadémia Európa-szerte ismert intézménnyé vált. Az igazgatói tisztséget, nyugdíjazásáig, 1919-ig töltötte be. 1896. június 6-án megkapta a III. osztályú vaskoronarendet, 1898. június 1-jén pedig a miniszteri tanácsosi címet. Sírja a kerepesi temetőben található (34-9-23).[7]
Főbb művei
Szimfóniák
1. (d-moll) szimfónia (1879)
2. (h-moll) szimfónia (1892)
3. "Patetikus" szimfónia (a-moll) (1900)
4. (c-moll) szimfónia (1902)
Szimfonikus költemények (balladák)
A rémhajó (1871)
A sellő (1874)
Hero és Leander (1875)
Gyászhangok, Deák Ferenc emlékének ajánlva (1876)
Ronde du Sabbat (1879)
Faust fantázia (1880)
Pán halála (1898)
Operák
Hagbarth és Signe (1867-1881), A. Oehlenschläger drámája nyomán
Wieland der Schmied (1874-1876), R. Wagner szövegkönyve nyomán
Eliána (1884-1887), A. Tennyson Királyidillek nyomán írt "lírai költemény"
Toldi (1889-91), Arany szövege alapján a szövegkönyvet Csíky Gergely írta
Toldi szerelme (1893-94), a Toldi új 2. fináléval és 3. felvonással Ábrányi Emil új szövegkönyvére
König Fjalar (1876-85, Cosima Wagner tanácsára a szerző megsemmisítette)