GloVe

GloVe, від англ. Global Vectors (глобальні вектори), — це одна з моделей для розподіленого представлення слів. Ця модель є алгоритмом некерованого навчання для отримування векторних представлень слів. Це досягається відображенням слів до змістовного простору, в якому відстань між словами пов'язано з семантичною подібністю.[1] Тренування виконується на агрегованій глобальній статистиці попарної спільної появи[en] слів корпусу, а отримувані в результаті представлення демонструють цікаві лінійні підструктури векторного простору слів. Її розроблюють як відкритий проєкт у Стенфорді.[2] Як логарифмічно-білінійна регресійна модель для некерованого навчання представлень слів, вона поєднує властивості двох сімейств моделей, а саме, методів глобального розкладу матриць, та локального контекстного вікна.[3]

Застосування

GloVe можливо використовувати, щоби знаходити зв'язки між словами, такі як синоніми, відношення «компанія — продукт», поштових індексів та міст тощо. Її також використовує модель spaCy, щоби будувати семантичні вкладення слів/вектори ознак під час обчислення найкращих відповідних слів за такими мірами відстані як косинусна подібність та підхід евклідової відстані.[4] Її також використовували як систему представлення слів для онлайнових та автономних систем, розроблених для виявляння психічних розладів в опитуваннях пацієнтів.[1]

Історія

Її було запущено 2014 року.

Див. також

Примітки

  1. ↑ а б Abad, Alberto; Ortega, Alfonso; Teixeira, António; Mateo, Carmen; Hinarejos, Carlos; Perdigão, Fernando; Batista, Fernando; Mamede, Nuno (2016). Advances in Speech and Language Technologies for Iberian Languages: Third International Conference, IberSPEECH 2016, Lisbon, Portugal, November 23-25, 2016, Proceedings (англ.). Cham: Springer. с. 165. ISBN 9783319491691. (англ.)
  2. ↑ GloVe: Global Vectors for Word Representation (pdf) [Архівовано 3 вересня 2020 у Wayback Machine.] (англ.) «Ми використовуємо наші ідеї для побудови нової моделі для представлення слів, яку ми називаємо GloVe, від англ. Global Vectors (глобальні вектори), оскільки ця модель безпосередньо фіксує глобальну статистику корпусу.»
  3. ↑ Kalajdziski, Slobodan (2018). ICT Innovations 2018. Engineering and Life Sciences (англ.). Cham: Springer. с. 220. ISBN 9783030008246. (англ.)
  4. ↑ Singh, Mayank; Gupta, P. K.; Tyagi, Vipin; Flusser, Jan; Ören, Tuncer I. (2018). Advances in Computing and Data Sciences: Second International Conference, ICACDS 2018, Dehradun, India, April 20-21, 2018, Revised Selected Papers. Singapore: Springer. с. 171. ISBN 9789811318122. (англ.)

Посилання