Дълбоко обучение

Дълбокото обучение (известно още като дълбоко структурирано обучение) е част от по-широко семейство методи за машинно самообучение, основано на изкуствени невронни мрежи с учебно представяне. В превод от немски на немски: mehrschichtiges Lernen наричано многослойно обучение, е метод за машинно самообучение на машините, което използва изкуствени невронни мрежи с многобройни междинни слоеве между слоя за въвеждане и слоя за издаване (извеждане) и с това образува една широкообхватна вътрешна структура. Ученето може да бъде контролирано, полуконтролирано или без надзор[1][2][3].

Дълбоко обучаващи се архитектури като дълбоки невронни мрежи, дълбоки мрежи за сигурност, графични невронни мрежи, повтарящи се невронни мрежи и конволюционни невронни мрежи са приложени в области, включително компютърно зрение, разпознаване на реч, обработка на естествен език, машинен превод, биоинформатика, дизайн на лекарства, медицински анализ на изображения, проверка на материали и програми за настолни игри, където те са дали резултати, сравними с и в някои случаи надминаващи човешките експертни резултати[4][5][6][7]

Изкуствените невронни мрежи (ANN) са вдъхновени от обработката на информация и разпределените комуникационни възли в биологичните системи. ANN имат различни разлики от биологичните мозъци. По-конкретно, невронните мрежи са склонни да бъдат статични и символични, докато биологичният мозък на повечето живи организми е динамичен (пластичен) и аналогов[8][9][10]

Прилагателното „дълбоко“ в дълбокото обучение се отнася до използването на множество слоеве в мрежата. Ранната работа показа, че линейният персептрон не може да бъде универсален класификатор, но че мрежа с неполиномиална функция за активиране с един скрит слой с неограничена ширина може. Дълбокото обучение е модерен вариант, който се занимава с неограничен брой слоеве с ограничен размер, което позволява практическо приложение и оптимизирано изпълнение, като същевременно запазва теоретичната универсалност при меки условия. При дълбокото учене на слоевете също е позволено да бъдат разнородни и да се отклоняват широко от биологично информирани модели на свързване, в името на ефективността, обучимостта и разбираемостта, откъдето идва и „структурираната“ част.

Определение

Representing Images on Multiple Layers of Abstraction in Deep Learning
Представяне на изображения на множество слоеве на абстракция при задълбочено обучение от машина[11].

Дълбокото обучение е клас алгоритми за машинно обучение, който[12] използва множество слоеве за прогресивно извличане на функции от по-високо ниво от суровия вход. Например при обработката на изображения по-ниските слоеве могат да идентифицират ръбове, докато по-високите слоеве могат да идентифицират понятията, свързани с човека, като цифри, букви или лица.

Общ преглед

Повечето съвременни модели на дълбоко обучение се основават на изкуствени невронни мрежи, по-специално на конволюционни невронни мрежи (CNN), въпреки че те могат да включват и формули за предложения или латентни променливи, организирани по слоеве в дълбоки генеративни модели, като възлите в дълбоките мрежи и дълбоките Болцман машини[13].

При задълбочено обучение всяко ниво се научава да трансформира своите входни данни в малко по-абстрактно и съставно представяне. В приложение за разпознаване на изображения суровият вход може да бъде матрица от пиксели; първият представителен слой може да абстрахира пикселите и да кодира ръбове; вторият слой може да композира и кодира аранжименти на ръбове; третият слой може да кодира носа и очите; и четвъртият слой може да разпознае, че изображението съдържа лице. Важното е, че процесът на задълбочено обучение може да научи кои функции да постави оптимално на кое ниво самостоятелно. (Разбира се, това не премахва напълно необходимостта от ръчна настройка; например, различен брой слоеве и размери на слоевете могат да осигурят различна степен на абстракция.)[14][15]

Думата „дълбоко“ в „дълбоко обучение“ се отнася до броя на слоевете, през които данните се трансформират. По-точно, системите за дълбоко обучение имат значителна дълбочина на пътя на кредитно разпределение (CAP). ОСП е веригата от трансформации от вход към изход. ОСП описват потенциално причинно-следствени връзки между входа и изхода. За пренасочена невронна мрежа дълбочината на CAP е тази на мрежата и е броят на скритите слоеве плюс един (тъй като изходният слой също е параметризиран). За повтарящи се невронни мрежи, при които сигнал може да се разпространи през слой повече от веднъж, дълбочината на CAP е потенциално неограничена[16].

Никой универсално договорен праг на дълбочина не разделя плиткото учене от дълбокото обучение, но повечето изследователи се съгласяват, че дълбокото обучение включва дълбочина на ОСП по-голяма от 2. Доказано е, че ОСП на дълбочина 2 е универсален апроксиматор в смисъл, че може да емулира всяка функция[17]

Освен това, повече слоеве не добавят към функцията за апроксимация на функциите на мрежата. Дълбоките модели (CAP> 2) могат да извлекат по-добри характеристики от плитките модели и следователно допълнителните слоеве помагат за ефективното усвояване на характеристиките.

Архитектурите за задълбочено обучение могат да бъдат конструирани с greedy алгоритъм слой по слой[18]. Дълбокото обучение помага да се развържат тези абстракции и да се избере кои функции подобряват производителността[19].

За контролирани учебни задачи методите за задълбочено обучение елиминират конструирането на функции, като превеждат данните в компактни междинни представителства, подобни на основните компоненти, и извличат слоести структури, които премахват излишното представяне. Алгоритмите за задълбочено обучение могат да се прилагат към задачи за учене без надзор. Това е важна полза, защото немаркираните данни са по-богати от етикетираните данни. Примери за дълбоки структури, които могат да бъдат обучени без надзор, са компресори[20] с невронна история и мрежи с дълбока обучаваща се DBN е генеративен графичен модел и алтернативен клас дълбока невронна мрежа, съставена от множество слоеве скрити променливи („скрити единици“), с връзки между слоевете, но не и между единици в всеки слой[21].[22]

Източници

  1. ↑ Bengio, Y.; Courville, A.; Vincent, P. (2013). „Representation Learning: A Review and New Perspectives“. IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (8): 1798 – 1828. arXiv:1206.5538. doi:10.1109/tpami.2013.50. PMID 23787338. S2CID 393948.
  2. ↑ Schmidhuber, J. (2015). „Deep Learning in Neural Networks: An Overview“. Neural Networks. 61: 85 – 117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509.
  3. ↑ Bengio, Yoshua; LeCun, Yann; Hinton, Geoffrey (2015). „Deep Learning“. Nature. 521 (7553): 436 – 444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442. S2CID 3074096.
  4. ↑ Hu, J.; Niu, H.; Carrasco, J.; Lennox, B.; Arvin, F. (2020). "Voronoi-Based Multi-Robot Autonomous Exploration in Unknown Environments via Deep Reinforcement Learning". IEEE Transactions on Vehicular Technology. 69 (12): 14413 – 14423. doi:10.1109/TVT.2020.3034800. S2CID 228989788.
  5. ↑ iresan, D.; Meier, U.; Schmidhuber, J. (2012). „Multi-column deep neural networks for image classification“. 2012 IEEE Conference on Computer Vision and Pattern Recognition. pp. 3642 – 3649. arXiv:1202.2745. doi:10.1109/cvpr.2012.6248110. ISBN 978-1-4673-1228-8. S2CID 2161592.
  6. ↑ Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffry (2012). "ImageNet Classification with Deep Convolutional Neural Networks" (PDF). NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada.
  7. ↑ "Google's AlphaGo AI wins three-match series against the world's best Go player".[неработеща препратка] TechCrunch.
  8. ↑ Marblestone, Adam H.; Wayne, Greg; Kording, Konrad P. (2016). "Toward an Integration of Deep Learning and Neuroscience". Frontiers in Computational Neuroscience. 10: 94. arXiv:1606.03813. Bibcode:2016arXiv160603813M. doi:10.3389/fncom.2016.00094. PMC 5021692. PMID 27683554. S2CID 1994856
  9. ↑ Olshausen, B. A. (1996). „Emergence of simple-cell receptive field properties by learning a sparse code for natural images“. Nature. 381 (6583): 607 – 609. Bibcode:1996Natur.381..607O. doi:10.1038/381607a0. PMID 8637596. S2CID 4358477
  10. ↑ Bengio, Yoshua; Lee, Dong-Hyun; Bornschein, Jorg; Mesnard, Thomas; Lin, Zhouhan (13 February 2015). „Towards Biologically Plausible Deep Learning“. arXiv:1502.04156 [cs.LG].
  11. ↑ Schulz, Hannes; Behnke, Sven (1 November 2012). „Deep Learning“. KI – Künstliche Intelligenz. 26 (4): 357 – 363. doi:10.1007/s13218-012-0198-z. ISSN 1610 – 1987. S2CID 220523562.
  12. ↑ Deng, L.; Yu, D. (2014). "Deep Learning: Methods and Applications" (PDF). Foundations and Trends in Signal Processing.
  13. ↑ Bengio, Yoshua (2009). "Learning Deep Architectures for AI" (PDF). Foundations and Trends in Machine Learning. 2 (1): 1 – 127. CiteSeerX 10.1.1.701.9550. doi:10.1561/2200000006.
  14. ↑ Bengio, Y.; Courville, A.; Vincent, P. (2013). „Representation Learning: A Review and New Perspectives“. IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (8): 1798 – 1828. arXiv:1206.5538. doi:10.1109/tpami.2013.50. PMID 23787338.
  15. ↑ LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (28 May 2015). „Deep learning“. Nature. 521 (7553): 436 – 444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442. S2CID 3074096.
  16. ↑ Schmidhuber, J. (2015). „Deep Learning in Neural Networks: An Overview“. Neural Networks. 61: 85 – 117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509.
  17. ↑ Shigeki, Sugiyama (12 April 2019). Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities. IGI Global. ISBN 978-1-5225-8218-2.
  18. ↑ Bengio, Yoshua; Lamblin, Pascal; Popovici, Dan; Larochelle, Hugo (2007). Greedy layer-wise training of deep networks (PDF). Advances in neural information processing systems. pp. 153 – 160.
  19. ↑ Bengio, Y.; Courville, A.; Vincent, P. (2013). „Representation Learning: A Review and New Perspectives“. IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (8): 1798 – 1828. arXiv:1206.5538. doi:10.1109/tpami.2013.50. PMID 23787338. S2CID 393948.
  20. ↑ Schmidhuber, Jürgen (2015). „Deep Learning“. Scholarpedia. 10 (11): 32832. Bibcode:2015SchpJ..1032832S.
  21. ↑ Bengio, Y.; Courville, A.; Vincent, P. (2013). „Representation Learning: A Review and New Perspectives“. IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (8): 1798 – 1828. arXiv:1206.5538. doi:10.1109/tpami.2013.50. PMID 23787338. S2CID 393948.
  22. ↑ Hinton, G.E. (2009). "Deep belief networks". Scholarpedia. 4 (5): 5947. Bibcode:2009SchpJ...4.5947H. doi:10.4249/scholarpedia.5947.
  Тази страница частично или изцяло представлява превод на страницата Deep learning в Уикипедия на английски. Оригиналният текст, както и този превод, са защитени от Лиценза „Криейтив Комънс – Признание – Споделяне на споделеното“, а за съдържание, създадено преди юни 2009 година – от Лиценза за свободна документация на ГНУ. Прегледайте историята на редакциите на оригиналната страница, както и на преводната страница, за да видите списъка на съавторите. ​

ВАЖНО: Този шаблон се отнася единствено до авторските права върху съдържанието на статията. Добавянето му не отменя изискването да се посочват конкретни източници на твърденията, които да бъдат благонадеждни.​