حاسوب عصبي تفاضلي

حاسوب عصبي قابل للاشتقاق يُدرب على تخزين أعداد ثنائية كثيفة واسترجاعها. يبرز أداء مرجعي للمهمة أثناء عملية التدريب. في الجزء العلوي الأيسر من الشكل، نجد المدخل (باللون الأحمر) والهدف (باللون الأزرق) ممثلين بكلمات مكونة من 5 بت وإشارة مقاطعة مؤلفة من بت واحد. وفي الجزء العلوي الأيمن، نلاحظ مخرجات النموذج.

الحاسوب العصبي التفاضلي هو نموذج شبكي عصبي معزز بالذاكرة، وعادة ما يكون تكراريًا في تطبيقه (ولكن ليس هذا شرطًا). نُشر هذا النموذج عام 2016 على يد أليكس غريفز وزملائه في شركة ديب مايند.[1]

التطبيقات

يُستلهم الحاسوب العصبي التفاضلي، بطريقة غير مباشرة، من معمارية فون نيومان، مما يجعله مرشحًا قويًا للتفوق على البنى التقليدية في المهام التي تعتمد بشكل أساسي على الخوارزميات والتي لا يمكن تعلمها من خلال تحديد حدود القرار.

حتى الآن، أثبتت شبكات الذاكرة العصبية قدرتها على التعامل مع المهام البسيطة نسبياً، والتي يمكن حلها باستخدام البرمجة التقليدية. ولكن لا تحتاج شبكات الذاكرة العصبية إلى البرمجة لكل مشكلة، بل يمكن تدريبها بدلاً من ذلك. تسمح فترة الانتباه هذه للمستخدم بتغذية هياكل البيانات المعقدة مثل الرسوم البيانية بشكل تسلسلي، واستدعائها للاستخدام لاحقاً. علاوة على ذلك، يمكنها تعلم جوانب من المنطق الرمزي وتطبيقه على الذاكرة العاملة. يرى الباحثون الذين نشروا هذه الطريقة إمكانية تدريب شبكات الذاكرة العصبية على أداء مهام معقدة ومنظمة، [2][3] ومعالجة تطبيقات البيانات الضخمة التي تتطلب نوعًا من المنطق، مثل توليد تعليقات الفيديو أو التحليل الدلالي للنص.[4][5]

يمكن تدريب الحاسوب العصبي التفاضلي على التنقل بنجاح في أنظمة النقل السريع، ثم تطبيقها على أنظمة نقل أخرى مختلفة. عادةً ما تتطلب الشبكات العصبية التقليدية، التي تفتقر إلى الذاكرة، البدء من الصفر في تعلم كل نظام نقل جديد. في مهام مثل عبور الرسوم البيانية ومعالجة التسلسلات، والتي تعتمد على التعلم المراقب، تفوقت شبكات الحاسوب العصبي التفاضلي على بدائلها، مثل الذاكرة قصيرة المدى المطولة وآلة تورينج العصبية.[6] وباستخدام نهج التعلم التعزيزي في حل لغز الكتل، دُرب الحاسوب العصبي التفاضلي بشكل منهجي لتعلم وضع الخطط. وقد تجاوز داء هذه الشبكات أداء الشبكات العصبية المتكررة التقليدية.[6]

البنية المعمارية

مخطط نظام الحاسوب العصبي التفاضلي

قُدمت شبكات الحاسوب العصبي التفاضلي (DNC) باعتبارها امتدادًا لآلة تورينج العصبية (NTM)، إذ أضافت إليها آليات انتباه للذاكرة تتحكم في مواقع تخزين المعلومات، وآليات انتباه زمنية تسجل تسلسل الأحداث. يتيح هذا الهيكل لشبكات الحاسوب العصبي التفاضلي أن تكون أكثر مرونة واستقلالية عن التفاصيل المحددة مقارنة بآلة تورينج العصبية، مع قدرتها على أداء مهام تتطلب تبعيات أطول أمدًا من تلك التي تستطيع شبكات الذاكرة قصيرة المدى المطولة (LSTM) التعامل معها. يمكن تخصيص الذاكرة، التي تتكون ببساطة من مصفوفة، ديناميكيًا والوصول إليها بشكل مستمر. تتميز هذه الشبكات بكونها قابلة للتفاضل من البداية إلى النهاية، أي أن كل مكون من مكوناتها الفرعية قابل للتفاضل، مما يجعل النموذج بأكمله قابلاً للتفاضل. وهذا يجعل من الممكن تحسينها بكفاءة باستخدام الانحدار التدريجي.[4][7][8]

يُشبه نموذج الحاسوب العصبي التفاضلي في بنيته المعمارية معمارية فون نيومان، ونظراً لمرونة حجم الذاكرة فيه، فهو قادر على تنفيذ أي عملية حسابية نظرية وفقًا لنموذج تورنغ.[9]

الإضافات

تشمل التحسينات المقترحة معالجة مسألة الذاكرة المتفرقة، مما يؤدي إلى تقليل تعقيد الوقت والمساحة بمقدار آلاف المرات. ويمكن تحقيق ذلك باستخدام خوارزميات التقريب للجوار الأقرب، مثل هاشينج الحساس للموقع أو شجرة "كي دي" العشوائية، كما هو متوفر في المكتبة السريعة لتحديد أقرب الجيران بجامعة كولومبيا البريطانية.[10] كما يُضاف إلى ذلك مفهوم الوقت الحسابي التكيفي (ACT)، الذي يهدف إلى فصل الوقت الحسابي عن وقت البيانات، مستفيدًا من حقيقة أن طول المشكلة وصعوبتها ليسا متطابقين دائمًا.[11]

من جهة أخرى، يُظهر التدريب باستخدام التدرجات الاصطناعية أداءً أفضل بكثير مقارنة بالانتشار العكسي عبر الزمن (BPTT).[12] وأخيرًا، يمكن تعزيز المتانة من خلال استخدام التطبيع الطبقي وإسقاط الالتفاف كأسلوب تنظيمي.[13]

انظر أيضا

مراجع

  1. ^ Graves, Alex; Wayne, Greg; Reynolds, Malcolm; Harley, Tim; Danihelka, Ivo; Grabska-Barwińska, Agnieszka; Colmenarejo, Sergio Gómez; Grefenstette, Edward; Ramalho, Tiago (12 Oct 2016). "Hybrid computing using a neural network with dynamic external memory". Nature (بالإنجليزية). 538 (7626): 471–476. Bibcode:2016Natur.538..471G. DOI:10.1038/nature20101. ISSN:1476-4687. PMID:27732574. S2CID:205251479. Archived from the original on 2024-12-03. Retrieved 2024-11-29.
  2. ^ Graves, Alex; Wayne, Greg; Reynolds, Malcolm; Harley, Tim; Danihelka, Ivo; Grabska-Barwińska, Agnieszka; Colmenarejo, Sergio Gómez; Grefenstette, Edward; Ramalho, Tiago (12 Oct 2016). "Hybrid computing using a neural network with dynamic external memory". Nature (بالإنجليزية). 538 (7626): 471–476. Bibcode:2016Natur.538..471G. DOI:10.1038/nature20101. ISSN:1476-4687. PMID:27732574. S2CID:205251479. Archived from the original on 2024-12-03. Retrieved 2024-11-29.Graves, Alex; Wayne, Greg; Reynolds, Malcolm; Harley, Tim; Danihelka, Ivo; Grabska-Barwińska, Agnieszka; Colmenarejo, Sergio Gómez; Grefenstette, Edward; Ramalho, Tiago (2016-10-12). "Hybrid computing using a neural network with dynamic external memory". Nature. 538 (7626): 471–476. Bibcode:2016Natur.538..471G. doi:10.1038/nature20101. ISSN 1476-4687. PMID 27732574. S2CID 205251479.
  3. ^ "Differentiable neural computers | DeepMind". DeepMind. 12 أكتوبر 2016. مؤرشف من الأصل في 2016-12-09. اطلع عليه بتاريخ 2016-10-19.
  4. ^ ا ب Burgess, Matt. "DeepMind's AI learned to ride the London Underground using human-like reason and memory". WIRED UK (بالإنجليزية). Archived from the original on 2023-06-11. Retrieved 2016-10-19.
  5. ^ Jaeger, Herbert (12 Oct 2016). "Artificial intelligence: Deep neural reasoning". Nature (بالإنجليزية). 538 (7626): 467–468. Bibcode:2016Natur.538..467J. DOI:10.1038/nature19477. ISSN:1476-4687. PMID:27732576. Archived from the original on 2024-01-17. Retrieved 2024-11-29.
  6. ^ ا ب James، Mike. "DeepMind's Differentiable Neural Network Thinks Deeply". www.i-programmer.info. مؤرشف من الأصل في 2024-10-05. اطلع عليه بتاريخ 2016-10-20.
  7. ^ "DeepMind AI 'Learns' to Navigate London Tube". PCMAG. مؤرشف من الأصل في 2019-09-17. اطلع عليه بتاريخ 2016-10-19.
  8. ^ Mannes، John (13 أكتوبر 2016). "DeepMind's differentiable neural computer helps you navigate the subway with its memory". TechCrunch. مؤرشف من الأصل في 2024-12-02. اطلع عليه بتاريخ 2016-10-19.
  9. ^ "RNN Symposium 2016: Alex Graves - Differentiable Neural Computer". يوتيوب. 22 مارس 2017. اطلع عليه بتاريخ 2024-11-29.
  10. ^ A bot will complete this citation soon. Click here to jump the queue أرخايف:[1].
  11. ^ A bot will complete this citation soon. Click here to jump the queue أرخايف:[2].
  12. ^ A bot will complete this citation soon. Click here to jump the queue أرخايف:[3].
  13. ^ A bot will complete this citation soon. Click here to jump the queue أرخايف:[4].

روابط خارجية

Read other articles:

Senyawa kimia

Senyawa kimia atau senyawaan kimia adalah zat kimia murni atau zat murni yang terdiri dari dua atau lebih unsur atau atom yang berbeda jenis (misal senyawa H2O terdiri dari hidrogen dan oksigen, senyawa NaCl terdiri dari natrium dan klorin, dan senyawa C12H22O11 terdiri dari karbon, hidrogen, dan oksigen) [1] [2] [3] yang dapat dipecah-pecah lagi menjadi unsur-unsur penyusunnya itu melalui reaksi kimia [4] (misal H2O dipecah menjadi hidrogen dan oksigen dengan ...

 

Herbert Simon

Pour les articles homonymes, voir Simon. Herbert SimonHerbert Simon vers 2000.BiographieNaissance 15 juin 1916MilwaukeeDécès 9 février 2001 (à 84 ans)PittsburghNom de naissance Herbert Alexander SimonNationalité AméricaineFormation Université de ChicagoActivités Économiste, professeur d'université, informaticien, sociologue, homme politique, politologueAutres informationsA travaillé pour Université Carnegie-MellonInstitut de technologie de l'IllinoisMembre de Société d'éc...

 

Smurf (seri televisi 2021)

SmurfLogo seri televisi SmurfBelgian FrenchLes Schtroumpfs Genre Adventure Fantasy Slapstick Comedy PembuatPeyoBerdasarkan The Smurfsoleh Peyo Smurfs: The Lost Villageoleh Sony Pictures Animation SutradaraWilliam Renaud[1]Pengarah kreatif Luc Parthoens Tom Cosijn Penggubah lagu temaBrad BreeckJustin BatesPenata musikBrad BreeckNegara asal Belgia[2][1] Amerika SerikatBahasa asliPrancisJmlh. musim2Jmlh. episode104 (daftar episode)ProduksiProduser eksekut...

زلاتان إبراهيموفيتش

زلاتان إبراهيموفيتش Zlatan Ibrahimović إبراهيموفتش في 2018 معلومات شخصية الاسم الكامل زلاتان إبراهيموفيتش[1] الميلاد 3 أكتوبر 1981 (العمر 42 سنة)[1]مالمو، السويد الطول 1.95 م (6 قدم 5 بوصة)[2][2] مركز اللعب مهاجم الجنسية سويدية الأصل بوسني الوزن 95 كيلوغرام مسيرة الشبا�...

 

Justin Godart

Pour les articles homonymes, voir Godart. Justin Godart Justin Godart en 1917. Fonctions Maire de Lyon 3 septembre 1944 – 18 mai 1945 (8 mois et 15 jours) Prédécesseur Pierre Bertrand Successeur Édouard Herriot Sénateur français 16 mai 1926 – 10 juillet 1940 (14 ans, 1 mois et 24 jours) Réélection 9 janvier 192714 janvier 1936 Circonscription Rhône Ministre de la Santé publique 3 juin – 18 décembre 1932 (6 mois et 15 jours) Gouvernement Herr...

 

Tetrahydrogestrinone

Synthetic and orally active anabolic–androgenic steroid (AAS)TetrahydrogestrinoneClinical dataOther namesTHG; The Clear; 17α-Ethyl-18-methyl-δ9,11-19-nortestosterone; 17α-Ethyl-18-methylestra-4,9,11-trien-17β-ol-3-oneRoutes ofadministrationBy mouth, intramuscular injectionDrug classAndrogen; Anabolic steroid; ProgestogenLegal statusLegal status US: Schedule III Identifiers IUPAC name (8S,13S,14S,17S)-13,17-diethyl-17-hydroxy-1,2,6,7,8,14,15,16-octahydrocyclopenta[a]phenanthren-3-on...

Gertrude Astor

American actress (1887–1977) Gertrude AstorAstor in Beyond the Rocks (1922)BornGertrude Irene Eyster(1887-11-09)November 9, 1887Lakewood, Ohio, U.S.DiedNovember 9, 1977(1977-11-09) (aged 90)Woodland Hills, California, U.S.Resting placeHollywood Forever CemeteryOccupationActressYears active1915–1966 Gertrude Astor (born Gertrude Irene Eyster; November 9, 1887 – November 9, 1977)[1] was an American motion picture character actress, who began her career playing trombone i...

 

Tour des Flandres 2020

Tour des Flandres 2020 GénéralitésCourse104e Tour des FlandresCompétitionUCI World Tour 2020 1.UWTDate18 octobre 2020Distance241 kmPays BelgiqueLieu de départAnversLieu d'arrivéeAudenardeÉquipes25Partants172Arrivants111Vitesse moyenne42,112 km/hSite officielSite officielRésultatsVainqueur Mathieu van der Poel (Alpecin-Fenix)Deuxième Wout van Aert (Jumbo-Visma)Troisième Alexander Kristoff (UAE Team Emirates) ◀20192021▶Documentation Le Tour des Flandres 2020 est la 104e ...

 

趙家驤

追晉陸軍二級上將趙家驤將軍个人资料出生1910年 大清河南省衛輝府汲縣逝世1958年8月23日(1958歲—08—23)（47—48歲） † 中華民國福建省金門縣国籍 中華民國政党 中國國民黨获奖 青天白日勳章（追贈）军事背景效忠 中華民國服役 國民革命軍 中華民國陸軍服役时间1924年－1958年军衔 二級上將 （追晉）部队四十七師指挥東北剿匪總司令部參謀長陸軍�...

Ираклеониты

Ираклеониты — ученики гностика Ираклеона (II век). Упоминаются как особая секта Епифанием и Августином; при крещении и миропомазании они соблюдали обряд помазания елеем и при этом произносили воззвания на арамейском языке, которые должны были освободить душу от власт�...

 

Sanna

Prabu Sanna atau Bratasenawa adalah Raja ketiga di Kerajaan Galuh yang memerintah dengan gelar Prabu Bratasenawa dari tahun 709 Masehi sampai 716 Masehi menggantikan Sang Jalantara Prabu Suraghana, ayahnya.[1] SannaPrabu BratasenawaRaja Galuh Ke - 3Berkuasa709 – 716PendahuluSuraghanaPenerusPurbasoraInformasi pribadiAyahSuraghanaIbuWulan SariPasangan - Anak - Biografi Peta Kerajaan Sunda dan Kerajaan Galuh. Namanya Sang Sena atau Sanna putra Sang Jalantara, Prabu Suraghana atau Rahya...

 

Aaron Long (soccer)

American soccer player (born 1992) Aaron Long Long with the United States in 2019Personal informationFull name Aaron Ray Long[1]Date of birth (1992-10-12) October 12, 1992 (age 31)[2]Place of birth Oak Hills, California, United StatesHeight 6 ft 1 in (1.85 m)[3]Position(s) Center-backTeam informationCurrent team Los Angeles FCNumber 32College careerYears Team Apps (Gls)2010–2013 UC Riverside Highlanders 71 (13)Senior career*Years Team Apps (Gls)20...

Captain Kottas Museum

Military museum in Macedonia, GreeceCaptain Kottas MuseumΜουσείο Μακεδονικού Αγώνα Καπετάν ΚώτταExternal view of Kottas MuseumEstablished1995Location Kottas, Macedonia, GreeceCoordinates40°43′15″N 21°10′22″E / 40.72078014846943°N 21.172793888629762°E / 40.72078014846943; 21.172793888629762TypeMilitary museum The Captain Kottas Museum or Museum of the Macedonian Struggle of Captain Kottas (Greek: Μουσείο Μακεδο...

 

هنود

هنودمعلومات عامةنسبة التسمية الهند التعداد الكليالتعداد قرابة 1.21 مليار[1][2]تعداد الهند عام 2011ق. 1.32 مليار[3]تقديرات عام 2017ق. 30.8 مليون[4]مناطق الوجود المميزةبلد الأصل الهند البلد الهند  الهند نيبال 4,000,000[5] الولايات المتحدة 3,982,398[6] الإمار...

 

Повітряні сили Збройних сил України

Ця стаття потребує додаткових посилань на джерела для поліпшення її перевірності. Будь ласка, допоможіть удосконалити цю статтю, додавши посилання на надійні (авторитетні) джерела. Зверніться на сторінку обговорення за поясненнями та допоможіть виправити недоліки. Мат...

土库曼斯坦总统

土库曼斯坦总统土库曼斯坦国徽土库曼斯坦总统旗現任谢尔达尔·别尔德穆哈梅多夫自2022年3月19日官邸阿什哈巴德总统府（Oguzkhan Presidential Palace）機關所在地阿什哈巴德任命者直接选举任期7年，可连选连任首任萨帕尔穆拉特·尼亚佐夫设立1991年10月27日 土库曼斯坦土库曼斯坦政府与政治 国家政府 土库曼斯坦宪法 国旗 国徽 国歌 立法機關（英语：National Council of Turkmenistan） ...

 

Peter Jackson's King Kong: The Official Game of the Movie

Peter Jackson's King Kong:The Official Game of the MovievideogiocoUn'immagine di giocoPiattaformaPlayStation 2, Xbox, Nintendo GameCube, Microsoft Windows, Game Boy Advance, Xbox 360, Nintendo DS, PlayStation Portable, Telefono cellulare, BlackBerry Data di pubblicazioneTelefono cellulare: 14 novembre 2005 PlayStation 2: 15 dicembre 2005 21 novembre 2005 17 novembre 2005 Xbox, GameCube, Windows, Game Boy Advance: 21 novembre 2005 17 novembre 2005 Xbox 360: ...

 

Gunung Padang Alai, V Koto Timur, Padang Pariaman

Artikel ini tidak memiliki referensi atau sumber tepercaya sehingga isinya tidak bisa dipastikan. Tolong bantu perbaiki artikel ini dengan menambahkan referensi yang layak. Tulisan tanpa sumber dapat dipertanyakan dan dihapus sewaktu-waktu.Cari sumber: Gunung Padang Alai, V Koto Timur, Padang Pariaman – berita · surat kabar · buku · cendekiawan · JSTOR Gunung Padang AlaiNagariNegara IndonesiaProvinsiSumatera BaratKabupatenPadang PariamanKecamatanV...

Council of Ministers (Belgium)

Belgian federal executive organ Council of MinistersFrench: Conseil des ministresDutch: MinisterraadGerman: MinisterratState Coat of Arms of BelgiumCabinet overviewFormed1918(106 years ago) (1918)JurisdictionFederal Government of BelgiumCabinet executivePrime Minister of BelgiumWebsiteOfficial website Politics of Belgium Constitution Taxation Constitutional Court Monarchy Monarch (list) Philippe Duchess of Brabant Elisabeth of Belgium Crown Council Royal Family Federal Parliament Se...

 

Rosa Clemente

Pour les articles homonymes, voir Clemente. Cet article est une ébauche concernant une femme politique américaine. Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants. Rosa ClementeRosa Clemente en 2009.BiographieNaissance 18 avril 1972 (52 ans)New YorkNationalité américaineFormation Université CornellUniversité d'État de New York à AlbanyActivités Journaliste, femme politique, militante pour la paixAut...