PROFILPELAJAR.COM

ADALINE (англ. Adaptive Linear Neuron або пізніше англ. Adaptive Linear Element) — адаптивний лінійний нейрон, або адаптивний лінійний елемент. ADALINE по суті є одношаровою нейронною мережею.^[1]^[2]^[3]^[4]^[5] Він був розроблений професором Бернардом Відроу і його студентом Тедом Гоффом у Стенфордському університеті у 1960 році. ADALINE базується на штучному нейроні МакКаллока-Пітса.

Різниця між Адалін і стандартним нейроном МакКаллоха-Пітса полягає в тому, що у фазі навчання ваги Адалін встановлюються відповідно до вагової суми входів (сигнали сітки). В стандартному перцептроні протягом фази навчання сигнали сітки надходять до передавальної функції і її вихід використовується для встановлення ваг.

Багатошарова мережа ADALINE називається Madaline.

Визначення

ADALINE — це одношарова нейросітка з численними вузлами, кожен з яких має багато входів і генерує вихідний сигнал. Позначимо такі змінні:

$x$ — вхідний вектор
$w$ — ваговий вектор
$n$ — число входів
$\theta$ — деяка константа
$y$ — вихід

Вихід визначається наступною формулою: $y=\sum _{j=1}^{n}x_{j}w_{j}+\theta$ . Припустимо, що

$x_{n+1}=1$
$w_{n+1}=\theta$

Тоді вихід спрощується до скалярного добутку x і w: $y=\sum _{j=0}^{n}x_{j}w_{j}$ .

Алгоритм навчання

Припустимо:

$\eta$ швидкість навчання (деяка константа)
$d$ бажаний вихід
$o$ поточний вихід

тоді ваги встановлюються таким чином: $w\leftarrow w+\eta (d-o)x$ . ADALINE сходиться до похибки найменших квадратів: $E=(d-o)^{2}$ .^[6] Це правило оновлення насправді є стохастичним градієнтним спуском для лінійної регресії.^[7]