A nemesi származású báró taktaharkányi Harkányi család sarja. Harkányi (1867-ig Koppély) Károly (1826–1919) politikus, földbirtokos és monostori Vörös Emília fia. A budapesti, lipcsei és strassburgi egyetemeken tanult, a párizsi obszervatóriumban észlelőként tevékenykedett. Egy nagyobb észak-amerikai tanulmányút után 1896-ban Budapesten doktorált. Konkoly Thege Miklós javaslatára az ógyallai Magyar Királyi Konkoly-alapítványú Asztrofizikai Obszervatórium első obszervátorának nevezték ki. (1899 - 1903). Itt Konkoly Thege Miklós észlelőjeként dolgozott, kiemelésre méltó munkái a Nova Persei észlelése, meteor és napfolt megfigyelései. Külföldi tapasztalatai alapján átszervezte az intézet kutatási programját: a korábbi színkép vizsgálatok helyett az akkor már kis műszereknek számító ógyallai távcsövekkel is eredményesen végezhető fénymérések kerültek előtérbe. 1907-ben a Budapesti Tudományegyetemen az asztrofizika magántanárává habilitálták. A korszerű asztrofizika nemzetközileg elismert magyar úttörője volt: elsőként határozta meg a Planck-formula segítségével a csillagok felszíni hőmérsékletét (1902), majd módszert dolgozott ki a csillagok átmérőinek megállapítására. Gothard Jenő színképvizsgálatait felhasználva kimutatta, hogy a nóvák fényessége és spektrumuk jellege párhuzamos hullámzást mutat. Foglalkozott a csillagászat klasszikus területeivel, doktori értekezésében a földtengely pólusingadozásának problémáját dolgozta fel. Szívesen foglalkozott matematikai problémákkal, pl. kidolgozta a hullámzó vízfelületen létrejövő tükröződés geometriai elméletét. Németül publikált eredményei mind a csillagászok, mind a fizikusok körében élénk visszhangra találtak, nevét ma is idézik az asztrofizika megalapozását tárgyaló tankönyvek. Cikkei az Astronomische Nachrichtenben, a Matematikai és Természettudományi Értesítőben, a Mathematikai és Physikai Lapokban és más szaklapokban jelentek meg, emellett írt népszerűsítő cikkeket is (pl.: a Természettudományi Közlönyben és a Stella Almanach-ban). Számos tudományos társaság vezetőségi vagy tiszteletbeli tagja volt.
Fontosabb művei
A sarkmagasság ingadozása… – Die Bestimmung und Theorie der Polhöchenschwankungen, Budapest 1896.