ДалееСледующее руководство
Линейное зондирование и оценка замороженных элементов
Технический
Техническое РУКОВОДСТВО
Трюк с хешированием признаков преобразует категориальные или текстовые признаки, потенциально из огромного или неограниченного словаря, в числовой вектор фиксированного размера, применяя хэш-функцию к каждому имени признака и используя результат в качестве индекса, вместо создания и хранения явного словаря, сопоставляющего каждое уникальное значение со столбцом.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это важно, поскольку позволяет моделям обрабатывать очень большие или потоковые словари, такие как каждое слово или каждый идентификатор пользователя, с постоянной, предсказуемой памятью, ценой случайных коллизий хэшей.
Трюк с хешированием функций решает практическую проблему с категориальными и текстовыми функциями: их словарь может быть огромным или открытым, например, любое возможное слово или каждый идентификатор пользователя, а для создания явного горячего кодирования требуется словарь, который сопоставляет каждое уникальное значение с фиксированной позицией, которая неограниченно растет и должна обновляться всякий раз, когда появляется новое значение. Хеширование объектов позволяет обойти эту проблему, применяя хеш-функцию, такую как MurmurHash, непосредственно к строковому представлению каждого объекта и получая результат по модулю фиксированного количества сегментов, скажем, 2^18 или 2^20, чтобы получить его индекс в векторе признаков. Не существует словаря, который можно было бы создавать, хранить или синхронизировать между обучением и выводом; одна и та же хеш-функция всегда сопоставляет одну и ту же входную строку с одним и тем же сегментом. Неизбежной ценой являются коллизии хэшей: два разных значения функции могут хешироваться в одном и том же сегменте, объединяя их сигналы, поэтому модель больше не может полностью различать их отдельные вклады. На практике эти затраты обычно невелики, когда количество сегментов велико по сравнению с количеством действительно важных отдельных функций, поскольку столкновения между двумя редкими, несвязанными функциями редко сильно ухудшают общую точность, особенно в случае линейных моделей высокой размерности. Уточнение, иногда называемое приемом знакового хеширования, также хэширует каждый признак со случайным знаком +1 или -1, добавляемым вместе со значением, что приводит к тому, что коллизии в среднем частично компенсируются, а не всегда конструктивно добавляются, уменьшая смещение в результирующих значениях признака. Распространенным заблуждением является то, что хеширование признаков — это форма уменьшения размерности, такая как PCA; это не так, поскольку он не пытается сохранить дисперсию или структуру, а лишь дает представление фиксированного размера неограниченного пространства признаков за счет некоторого шума столкновений.
Классификатор спама электронной почты хэширует каждое слово в сообщении, скажем, в одну из, скажем, 2^20 корзин, избегая необходимости поддерживать словарь каждого слова, когда-либо встречавшегося в растущем обучающем наборе.
Система онлайн-рекламы хэширует идентификаторы пользователей и рекламы, число которых исчисляется миллиардами и постоянно растет, в вектор функций фиксированного размера, поэтому входное измерение модели никогда не должно меняться по мере появления новых пользователей и рекламы.
Система рекомендаций объединяет SKU продуктов в фиксированное количество сегментов, позволяя немедленно представлять новые запасы без переобучения кодировщика, зависящего от словарного запаса.
Два редких, несвязанных слова случайно попадают в один и тот же блок классификатора текста, что приводит к коллизии, из-за которой модель слегка объединяет их сигналы — компромисс, принимаемый в обмен на постоянное использование памяти.
Хеширование признаков остается стандартным методом для крупномасштабных линейных моделей и деревьев с градиентным усилением, работающих с категориальными данными высокой мощности, особенно в рекламных, поисковых и рекомендательных системах, где словари огромны и постоянно меняются. В глубоком обучении изученные таблицы внедрения стали более распространенной альтернативой для представления категориальных функций, хотя хеширование по-прежнему используется в качестве запасного варианта, ограниченного памятью, или в сочетании с внедрениями для ограничения размера таблицы для чрезвычайно больших словарей, таких как миллиарды идентификаторов пользователей или элементов. Сам основной метод прост и математически обоснован, поэтому будущие разработки, скорее всего, будут сосредоточены на гибридных архитектурах хеширования и внедрения, а не на изменении механизма хеширования.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Трюк с хешированием признаков преобразует категориальные или текстовые признаки, потенциально из огромного или неограниченного словаря, в числовой вектор фиксированного размера, применяя хэш-функцию к каждому имени признака и используя результат в качестве индекса, вместо создания и хранения явного словаря, сопоставляющего каждое уникальное значение со столбцом. Это важно, поскольку позволяет моделям обрабатывать очень большие или потоковые словари, такие как каждое слово или каждый идентификатор пользователя, с постоянной, предсказуемой памятью, ценой случайных коллизий хэшей.
Хеширование признаков заменяет явный, постоянно растущий словарь уникальных значений прямым сопоставлением хеша с сегментом, поэтому размер пространства признаков остается фиксированным независимо от роста словаря.
Индекс сегмента получается в результате хеширования имени объекта и получения результата по модулю m, выбранного количества сегментов, без необходимости поиска в словаре.
Коллизия происходит, когда два различных значения функции хэшируются в один и тот же индекс сегмента, поэтому модель больше не может полностью разделить их отдельные вклады.
Знаковое хеширование умножает вклад каждой функции на случайно определенный знак из второй хеш-функции, что приводит к тому, что конфликтующие вклады частично аннулируются, а не всегда конструктивно добавляются.
Хеширование со знаком может привести к отмене ожидаемых вкладов в конфликты, но коллизии остаются возможными, и хешированные имена невозможно восстановить только из вектора.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Линейное зондирование и оценка замороженных элементов
Технический