Встраивание слов

Встраивание слова — это изученный вектор: список числовых координат, связанных со словом. Его измерения — это функции, полученные с помощью метода обучения, а не словарное определение, написанное вручную. Исследование word2vec представило эффективные архитектуры CBOW и Skip-gram. CBOW предсказывает цель на основе окружающего контекста, а Skip-gram предсказывает окружающие слова на основе цели. GloVe использует глобальную информацию о совпадении слов в своих целях обучения. В распространённых конфигурациях используются десятки или сотни измерений, а не одна координата на возможное слово. Некоторые векторные смещения отражают полезные взаимосвязи, мотивируя такие иллюстрации, как король минус мужчина плюс женщина, приземлившаяся рядом с королевой. Таким примером является свойство, исследуемое в изученных представлениях, а не арифметический закон, который действует для каждого отношения и набора данных. Статические встраивания word2vec и GloVe присваивают слову фиксированный вектор независимо от предложения. Контекстуальные представления, изучаемые в таких работах, как ELMo, и используемые в трансформаторных сетях, зависят от окружающего текста. Преобразователь начинается с внедрения входных токенов и создает контекстуальные скрытые представления через свои слои. Это различие имеет значение для такого слова, как берег, обозначающего берег реки или финансовое учреждение. Вложения могут поддерживать языковые приложения, но векторы слов и представления всего документа не являются взаимозаменяемыми автоматически. Система семантического поиска может использовать отдельно обученное или агрегированное представление запросов и отрывков. Оцените это представление для поставленной задачи, а не предполагайте, что любая модель вектора слов обеспечивает надежный поиск документов.