Метод корекції зі зворотною передачею сигналу помилки

Метод корекції зі зворотною передачею сигналу помилки - стохастичний метод навчання перцептрона, необхідний для того, щоб гарантувати збіжність при змінних зв'язках більше ніж у одного шару. Метод був запропонований Розенблаттом для перцептрона зі змінними SA зв'язками і може бути використаний для бінарних багатошарових перцептронів. Є альтернативою методу зворотного поширення помилки, але на відміну від нього гарантує процес збіжності (досягнення рішення).

Алгоритм

  • Для кожного R-елементу встановлюється помилка , де - необхідна, а - досягнута реакція.
  • Для кожного А-елемента помилка обчислюється так:
    • Спочатку ;
    • Якщо елемент активний і зв'язок закінчується на R-елементі з ненульовою помилкою , що відрізняється по знаку від ваги зв'язку < math>w_ (ir)/math>, то з ймовірністю до слід додати корекцію, що дорівнює -1;
    • Якщо елемент неактивний і зв'язок закінчується на R-елементі з ненульовою помилкою , не відрізняється (збігається) за знаком від ваги зв'язку , то з ймовірністю до слід додати корекцію, що дорівнює 1;
    • Якщо елемент неактивний і зв'язок закінчується на R-елементі з ненульовою помилкою , що відрізняється по знаку від ваги зв'язку (або ), то з ймовірністю до слід додати корекцію , що дорівнює 1;
    • При всіх інших умовах не змінюється.
  • Якщо , то до всіх активних зв'язків, що закінчується на А чи R елементі, додаємо корекцію з знаком, що збігається зі знаком , тобто , де - абсолютне значення (як правило одиниця ).

У більшості випадків найкращі характеристики можуть бути отримані якщо ймовірності будуть вибрана відповідно до наступного умові .

Див. також

Література

  1. Фрэнк Розенблатт Принципы нейродинамики: перцептроны и теория механизмов мозга = Principles of Neurodynamic: perceptrons and the theory of brain mechanisms. — М.: «Мир», 1965.
  2. Lakhmi C. Jain; N.M. Martin Fusion of Neural Networks, Fuzzy Systems and Genetic Algorithms: Industrial Applications. - CRC Press, CRC Press LLC, 1998