Векторное представление слов

Векторное представление слов — общее название для различных подходов к моделированию языка и усвоению представлений в обработке естественного языка, направленных на сопоставление словам (и, возможно, фразам) из некоторого словаря векторов из ${\displaystyle \mathbb {R} ^{n}}$ для ${\displaystyle n}$, значительно меньшего количества слов в словаре. Теоретической базой для векторных вложений является дистрибутивная семантика.

Существует несколько методов для построения такого сопоставления. Так, используют нейронные сети^[1] , методы снижения размерности в применении к матрицам совместных упоминаний слов (word co-occurrence matrices)^[2] и явные представления, усваиваемые на контекстах упоминаний слов (explicit representations)^[3].

Продемонстрировано, что векторные вложения слов и фраз способны значительно улучшить качество работы некоторых методов автоматической обработки естественного языка (например, синтаксический анализ^[4] и анализ тональности^[5]).