U matematičkoj teoriji veštačkih neuronskih mreža, teoreme univerzalne aproksimacije su teoreme[1][2] sledećeg oblika: Datoj porodici neuronskih mreža, za svaku funkciju iz određenog prostora funkcija postoji sekvenca neuronskih mreža iz porodice, tako da je prema nekom kriterijumu. To jest, porodica neuronskih mreža je gusta u funkcijskom prostoru.
Najpopularnija verzija navodi da su fidforvard mreže sa nepolinomskim funkcijama aktivacije guste u prostoru neprekidnih funkcija između dva Euklidska prostora, s obzirom na topologiju kompaktne konvergencije.
Teoreme univerzalne aproksimacije su teoreme postojanja: One jednostavno navode da postoji takav niz , i ne pružaju nikakav način da se zapravo pronađe takav niz. One takođe ne garantuju da bi bilo koji metod, kao što je bekpropagacija, mogao da pronađe takav niz. Bilo koja metoda za pretraživanje prostora neuronskih mreža, uključujući bekpropagaciju, može pronaći konvergentnu sekvencu, ili ne (tj. bekpropagacija može da se zaglavi u lokalnom optimumu).
Teoreme univerzalne aproksimacije su granične teoreme: One jednostavno navode da za bilo koje i kriterijum bliskosti , ako ima dovoljno neurona u neuronskoj mreži, onda postoji neuronska mreža sa tolikim brojem neurona koji aproksimiraju unutar . Ne postoji garancija da je bilo koja konačna veličina, recimo, 10000 neurona dovoljna.
Reference
- ^ Hornik, Kurt; Stinchcombe, Maxwell; White, Halbert (јануар 1989). „Multilayer feedforward networks are universal approximators”. Neural Networks. 2 (5): 359—366. doi:10.1016/0893-6080(89)90020-8.
- ^ Balázs Csanád Csáji (2001) Approximation with Artificial Neural Networks; Faculty of Sciences; Eötvös Loránd University, Hungary