Учење без иједног покушаја

Учење без иједног покушаја (енгл. Zero-shot learning, ZSL) је постављање проблема у дубоком учењу где, у време тестирања, ученик посматра узорке из класа које нису посматране током тренирања и треба да предвиди класу којој припадају. Назив је игра речи заснована на концепту учења путем једног покушаја који претходи овој методи, у којем се класификација може научити из само једног или неколико примера.

Методе учења без иједног покушаја уопштено функционишу удруживањем надгледаних и ненадгледаних класа путем помоћних информација које кодирају карактеристике по којима се објекти међусобно разликују.[1] На пример, узимајући скуп слика различитих животиња за класификацију, заједно са текстуалним описима изгледа животиња, модел вештачке интелигенције који је истрениран за препознавање коња, док се зебра није користила у тренинг скупу, лако може препознати зебру уз текстуални опис да ова животиња изгледа као коњ са пругастим шарама. Овај проблем се дубоко разматра у рачунарској визији, обради природних језика и машинској перцепцији.[2]

Историја

Први рад о учењу без иједног покушаја у обради природних језика представљен је 2008. године на конференцији AAAI’08, али назив додељен овим методама био је класификација без података.[3] Први рад о учењу без иједног покушаја у рачунарској визији појавио се на истој конференцији, под називом учење без података (енгл. Zero-data learnig).[4] Финалан назив први пут се појавио у литератури објављеној у раду из 2009. Палатучија, Хинтона, Померлоа и Мичела на NIPS’09.[5] Ова терминологија се касније понавља поновљена у другом научном раду из области компјутерске [6], а термин учења без иједног покушаја настао је по угледу на учење са једним покушајем које је представљено у области рачунарске визије пар година раније. [7]

У рачунарској визији, модели учења без иједног покушаја су научили параметре за виђене класе заједно са њиховим класним приказом и ослањају се на репрезентативну сличност међу ознакама класа не би ли се током закључивања инстанце класификовале у нове класе.

У обради природних језика, развијени кључни технички правац се заснива на способности да се „разумеју ознаке“, односно да се ознаке представљају у истом семантичком простору као и документи који се класификују. Овај принцип подржава класификацију појединачног примера без посматрања било каквих анотираних података, најчистији облик класификације без иједног покушаја, односно класификације нултог покушаја.. Оригинални рад [3] користио је приказ експлицитне семантичке анализе (енгл. Explicit semantic analysis, ЕСА), али су каснији радови користили друге репрезентације, укључујући густе репрезентације. Овај приступ је такође проширен на вишејезичне домене,[8][9] фино куцање ентитета [10] и друге проблеме. Поред ослањања искључиво на репрезентације, рачунарски приступ је проширен тако да зависи од преноса из других задатака, као што су текстуалне импликације (енгл. textual entailment, TE) [11] и одговарање на питања.[12]

Оригинални рад[3] такође истиче да је, осим могућности да се класификује један пример, када је дата колекција примера, уз претпоставку да потичу из исте дистрибуције, могуће је покренути перформансе у полу- надгледан на сличан начин (или трансдуктивно учење ).

За разлику од стандардне генерализације у машинском учењу, где се од класификатора очекује да правилно класификују нове узорке у класе које су већ посматрали током процеса тренирања, код учењу без иједног покушаја класификатору током тренирања нису познати узорци из класа. Стога се може посматрати као екстремни случај прилагођавања области (енгл. Domain classification) .

Информације о предусловима за учење без иједног покушаја

Неопходно је да постоји неки тип додатне информације о класама коришћеним у учењу без иједног покушаја. Ове информације могу бити различитог типа.

  • Учење са атрибутима: уз класе познати су и унапред дефинисани структурирани описи. На пример, за описе птица, опис може да укључује „црвену главу“, „дугачки кљун“.[6][13] Ови атрибути су често организовани на структуиран композициони начин, а узимање те структуре у обзир побољшава учење.[14] Иако се овај приступ углавном користио у рачунарској визији, постоје и примери за његову примену у обради природних језика.[15]
  • Учење из текстуалног описа. Као што је претходно истакнуто, ово је био кључни правац који се примењује у обради природних језика. Овде се сматра да ознаке класа имају значење и често су допуњене дефиницијама или описом на природном језику слободног текста. Ово може укључивати, на пример, опис класе на Википедији. [10][16][17]
  • Класно-класна сличност. Овде су класе уграђене у непрекидан простор. Класификатор методе учења без иједног покушаја може предвидети да узорак одговара некој позицији у том простору, а најближа уграђена класа се користи као предвиђена класа, чак и ако такви узорци нису посматрани током тренинга.[18]

Уопштено учење без иједног покушаја

Претходно поменути принцип рада учења без иједног покушаја се заснива на претпоставци да су у време тестирања представљени искључиво узорци нових, непознатих класа. Код уопштеног учења без иједног покушаја у току тестирања се могу појавити узорци из непознатих, али и из познатих класа. С обзиром да је изузетно тешко извршити процену да ли је узорак из нове или познате класе, овај принцип уводи нове изазове класификатору у току тестирања. Неки од приступа овом проблему су:

  • гејтинг модул, који је првобитно истрениран за класификовање узорка као новог или познатог, а потом у време закључивања, генерише чврсту одлуку[19], или меку пробабилистичку одлуку[20]
  • генеративни модул, који је истрениран за креирање репрезентације невиђених класа. Након креирања поменуте репрезентације, за тренинг стандардног класификатора могу се користити узорци свих класа, виђених и невиђених [21]

Области примене

Учење без иједног покушаја је нашло примену у следећим пољима:

Види још

Референце

  1. ^ Xian, Yongqin; Lampert, Christoph H.; Schiele, Bernt; Akata, Zeynep (2020-09-23). „Zero-Shot Learning -- A Comprehensive Evaluation of the Good, the Bad and the Ugly”. arXiv:1707.00600 Слободан приступ [cs.CV]. 
  2. ^ Xian, Yongqin; Schiele, Bernt; Akata, Zeynep (2017). „Zero-shot learning-the good, the bad and the ugly”. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition: 4582—4591. Bibcode:2017arXiv170304394X. arXiv:1703.04394 Слободан приступ. 
  3. ^ а б в Chang, M.W. (2008). „Importance of Semantic Representation: Dataless Classification”. AAAI. 
  4. ^ Larochelle, Hugo (2008). „Zero-data Learning of New Tasks” (PDF). 
  5. ^ Palatucci, Mark (2009). „Zero-Shot Learning with Semantic Output Codes” (PDF). NIPS. 
  6. ^ а б Lampert, C.H. (2009). „Learning to detect unseen object classes by between-class attribute transfer”. IEEE Conference on Computer Vision and Pattern Recognition: 951—958. CiteSeerX 10.1.1.165.9750 Слободан приступ.  Непознати параметар |= игнорисан (помоћ)
  7. ^ Miller, E. G. (2000). „Learning from One Example Through Shared Densities on Transforms” (PDF). CVPR. 
  8. ^ Song, Yangqiu (2019). „Toward any-language zero-shot topic classification of textual documents”. Artificial Intelligence. 274: 133—150. doi:10.1016/j.artint.2019.02.002 Слободан приступ. 
  9. ^ Song, Yangqiu (2016). „Cross-Lingual Dataless Classification for Many Languages” (PDF). IJCAI. 
  10. ^ а б Zhou, Ben (2018). „Zero-Shot Open Entity Typing Type-Compatible Grounding” (PDF). EMNLP. arXiv:1907.03228 Слободан приступ. 
  11. ^ Yin, Wenpeng (2019). „Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach” (PDF). EMNLP. arXiv:1909.00161 Слободан приступ. 
  12. ^ Levy, Omer (2017). „Zero-Shot Relation Extraction via Reading Comprehension” (PDF). CoNLL. arXiv:1706.04115 Слободан приступ. 
  13. ^ Romera-Paredes, Bernardino; Torr, Phillip (2015). „An embarrassingly simple approach to zero-shot learning”. International Conference on Machine Learning: 2152—2161. 
  14. ^ Atzmon, Yuval (2019). „Adaptive Confidence Smoothing for Generalized Zero-Shot Learning”. The IEEE Conference on Computer Vision and Pattern Recognition: 11671—11680. Bibcode:2018arXiv181209903A. arXiv:1812.09903 Слободан приступ. 
  15. ^ Roth, Dan (2009). „Aspect Guided Text Categorization with Unobserved Labels”. ICDM. CiteSeerX 10.1.1.148.9946 Слободан приступ. 
  16. ^ Hu, R Lily; Xiong, Caiming; Socher, Richard (2018). „Zero-Shot Image Classification Guided by Natural Language Descriptions of Classes: A Meta-Learning Approach” (PDF). NeurIPS. 
  17. ^ Srivastava, Shashank; Labutov, Igor; Mitchelle, Tom (2018). „Zero-shot Learning of Classifiers from Natural Language Quantification”. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). стр. 306—316. doi:10.18653/v1/P18-1029 Слободан приступ. 
  18. ^ Frome, Andrea; et, al (2013). „Devise: A deep visual-semantic embedding model” (PDF). Advances in Neural Information Processing Systems: 2121—2129. 
  19. ^ Socher, R; Ganjoo, M; Manning, C.D.; Ng, A. (2013). „Zero-shot learning through cross-modal transfer”. Neural Information Processing Systems. Bibcode:2013arXiv1301.3666S. arXiv:1301.3666 Слободан приступ. 
  20. ^ Atzmon, Yuval (2019). „Adaptive Confidence Smoothing for Generalized Zero-Shot Learning”. The IEEE Conference on Computer Vision and Pattern Recognition: 11671—11680. Bibcode:2018arXiv181209903A. arXiv:1812.09903 Слободан приступ. 
  21. ^ Felix, R; et, al (2018). „Multi-modal cycle-consistent generalized zero-shot learning”. Proceedings of the European Conference on Computer Vision: 21—37. Bibcode:2018arXiv180800136F. arXiv:1808.00136 Слободан приступ. 
  22. ^ Wittmann, Bruce J.; Yue, Yisong; Arnold, Frances H. (2020-12-04). „Machine Learning-Assisted Directed Evolution Navigates a Combinatorial Epistatic Fitness Landscape with Minimal Screening Burden” (на језику: енглески): 2020.12.04.408955. S2CID 227914824. doi:10.1101/2020.12.04.408955.