Razložljiva umetna inteligenca (angleško explainable AI – XAI), znana tudi kot interpretljiva umetna inteligenca ali razložljivo strojno učenje (angleško explainable machine learning – XML),^[1] je umetna inteligenca (AI), v kateri so razlogi za odločitve in napovedi modelov umetne inteligence razumljivi ljudem.^[2] Je nasprotje koncepta »črne škatle« v strojnem učenju, kjer niti oblikovalci umetne inteligence ne poznajo razlogov za rezultate modelov umetne inteligence.^[3][4]

Namera XAI je učinkovitejše delovanje AI sistemov preko izboljšanja uporabniškega razumevanja AI odločanja.^[5] XAI se lahko smatra kot implementacija družbene pravice do pojasnila.^[6] XAI lahko izboljša uporabniško izkušnjo izdelka ali storitve, ker pozitivno vpliva na zaupanje končnih uporabnikov v odločitve umetne inteligence. XAI deluje s ciljem razlage kaj je bilo storjeno, kaj se počne, kaj bo storjeno naslednje ter razkriti, na katerih informacijah temeljijo ti ukrepi.^[7] Poznavanje teh informacije omogočajo potrditev ali izpodbijanje obstoječega znanja in ustvarjanje novih predpostavk.^[8]

Algoritme strojnega učenja (ML), ki se uporabljajo v AI, se lahko kategorizira kot bele škatle ali črne škatle.^[9] Kot bele škatle so kategorizirani modeli, katerih rezultati so razumljivi domenskim strokovnjakom. Po drugi strani pa je modele črnih škatel izjemno težko pojasniti in jih težko razumejo celo domenski strokovnjaki.^[10] Algoritmi XAI delujejo v skladu z načeli transparentnosti, interpretabilnosti in razložljivosti. Model je transparenten, če je proces pridobivanja modelnih parametrov iz testnih podatkov, ter generiranja odločitev na testnih podatkih razumljiv osebi, ki oblikuje model, in če proces poteka ob motivaciji te osebe.^[11] V kontekstu XAI je interpretabilnost zmožnost, da je ML model ljudem razumljiv, podlage za njegovo odločanje pa so lahko predstavljene na ljudem razumljiv način.^[12][13][14] Razložljivost je prepoznana kot pomemben koncept, vendar še ni enotno definirana.^[11] Ena od možnih definicij je »zbirka značilnosti interpretabilnih domen, ki so v danem primeru pripomogle k odločitvi (npr. klasifikacija ali regresija).«^[15] Če algoritmi izpolnjujejo ta načela, je zagotovljena osnova za utemeljitev odločitev, njihovo sledenje in s tem njihovo preverjanje, izboljšanje algoritmov in raziskovanje novih dejstev.^[16]

Zelo točne rezultate se lahko včasih doseže tudi z belo-škatelskim algoritmom umetne inteligence, ki je sam po sebi interpretabilen.^[17] To je še posebej pomembno na področjih, kot so medicina, obramba, finance in pravo, kjer je ključno razumeti odločitve in ohranjati zaupanje v algoritme.^[7] Simbolična regresija je metoda, kjer algoritem preiskuje matematične izraze in išče model, ki najbolje ustreza danemu naboru podatkov. Mnogi raziskovalci menijo, da je to, vsaj v domeni strojenega učenja, dobra smer za razvoj v prihodnosti.^[18][19][20]

Sistemi umetne inteligence delujejo na načelu optimiziranja svojega vedenja, da zadostijo matematično specificiranemu sistemu ciljev. Sistem ciljev izbrerejo oblikovalci sistema, zgled takšnega cilja je npr. ukaz »maksimalno povečaj točnost analize razpoloženja iz ocen filmov v naboru testnih podatkov.« Umetna inteligenca se lahko nauči koristnih splošnih pravil iz testnega nabora, na primer da bodo »ocene, ki vsebujejo besedo "grozljivo", verjetno negativne.« Vendar pa se lahko nauči tudi neprimernih pravil, kot na primer »recenzije, ki vsebujejo 'Daniel Day-Lewis', so običajno pozitivne« – takšna pravila so nezaželena, saj verjetno ne bodo uspela posplošiti zunaj nabora usposabljanja, ljudje pa lahko menijo, da je pravilo »goljufanje« ali »nepošteno«. Človek lahko revidira pravila v XAI, da dobi predstavo o možnosti pospeševanja sistema na prihodnjih podatkih iz resničnega sveta zunaj testnega niza.^[21]

Sodelovanje med agenti – v tem primeru algoritmi in ljudmi – je odvisno od zaupanja. Če naj ljudje sprejmejo algoritemske recepte, jim morajo zaupati. Nepopolna formalna merila zaupanja ovirajo optimizacijo. Preglednost, interpretabilnost in razložljivost so vmesni cilji na poti do teh bolj celovitih meril zaupanja.^[22] To je še posebej pomembno v medicini,^[23] zlasti v sistemih za podporo kliničnemu odločanju (CDSS), kjer morajo zdravstveni delavci razumeti kako in zakaj je bila sprejeta odločitev umetne inteligence, da bi lahko slednji zaupali in izboljšali svoj postopek sprejemanja odločitev.^[24]

Sistemi umetne inteligence se včasih na učnih podatkih naučijo nezaželenih trikov, ker ti triki pripomorejo k optimizaciji izpolnjevanja eksplicitnih vnaprej programiranih ciljev. Vendar ti triki ne zadostijo bolj niansiranim in implicitnim željam človeških načrtovalcev sistemov, prav tako pa ne pokrijejo celotne kompleksnosti podatkov o domeni. Na primer, sistem iz leta 2017, ki je bil zadolžen za prepoznavanje slik, se je naučil »goljufati« tako, da je iskal oznako avtorskih pravic, ki je bila slučajno povezana s slikami konj, namesto da bi se naučil ugotoviti, ali je bil konj dejansko prikazan.^[4] Drug primer je sistem umetne inteligence, naučene z nadzorovanim učenjem iz leta 2017. Umetna inteligenca, ki je bila zadolžena za prijemanje predmetov v virtualnem svetu, se je naučila goljufati tako, da je svoj manipulator postavila med objekt in gledalca tako, da se je lažno zdelo, da grabi predmet.^[25][26]

Eden od projektov transparentnosti, program DARPA XAI, je namenjen izdelavi modelov tako imenovanih »steklenih škatel«, ki so razumljivi »človeku v zanki« (osebi, udeleženi v proces strojnega učenja), ne da bi pri tem veliko žrtvovali zmogljivost umetne inteligence. Človeški uporabniki takšnega sistema lahko razumejo kognicijo AI (tako v realnem času kot naknadno) in se lahko odločijo, ali naj zaupajo AI.^[27] Druge aplikacije XAI so pridobivanje znanja iz modelov črnih škatel in primerjave modelov.^[28] V kontekstu nadzornih sistemov se za opis etične in družbeno-pravne skladnosti uporablja izraz »steklena škatla«. Opisuje orodja, ki sledijo vhodom in izhodom zadevnega sistema ter zagotavljajo razlage za njihovo vedenje in odločitve. Namen teh orodij je zagotoviti, da sistem deluje v skladu z etičnimi in pravnimi standardi ter da so postopki sprejemanja odločitev pregledni in odgovorni. Izraz »steklena škatla« se pogosto uporablja v nasprotju s sistemi »črnih škatel«, ki nimajo preglednosti in jih je težje spremljati in regulirati.^[29] Izraz se uporablja tudi za poimenovanje glasovnega pomočnika, ki daje nasprotne izjave kot pojasnila.^[30]