Техническое РУКОВОДСТВО

Трюк с хешированием функций

Трюк с хешированием признаков преобразует категориальные или текстовые признаки, потенциально из огромного или неограниченного словаря, в числовой вектор фиксированного размера, применяя хэш-функцию к каждому имени признака и используя результат в качестве индекса, вместо создания и хранения явного словаря, сопоставляющего каждое уникальное значение со столбцом.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее трюка с хешированием функций
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Это важно, поскольку позволяет моделям обрабатывать очень большие или потоковые словари, такие как каждое слово или каждый идентификатор пользователя, с постоянной, предсказуемой памятью, ценой случайных коллизий хэшей.

Глубокое погружение

Трюк с хешированием функций решает практическую проблему с категориальными и текстовыми функциями: их словарь может быть огромным или открытым, например, любое возможное слово или каждый идентификатор пользователя, а для создания явного горячего кодирования требуется словарь, который сопоставляет каждое уникальное значение с фиксированной позицией, которая неограниченно растет и должна обновляться всякий раз, когда появляется новое значение. Хеширование объектов позволяет обойти эту проблему, применяя хеш-функцию, такую ​​как MurmurHash, непосредственно к строковому представлению каждого объекта и получая результат по модулю фиксированного количества сегментов, скажем, 2^18 или 2^20, чтобы получить его индекс в векторе признаков. Не существует словаря, который можно было бы создавать, хранить или синхронизировать между обучением и выводом; одна и та же хеш-функция всегда сопоставляет одну и ту же входную строку с одним и тем же сегментом. Неизбежной ценой являются коллизии хэшей: два разных значения функции могут хешироваться в одном и том же сегменте, объединяя их сигналы, поэтому модель больше не может полностью различать их отдельные вклады. На практике эти затраты обычно невелики, когда количество сегментов велико по сравнению с количеством действительно важных отдельных функций, поскольку столкновения между двумя редкими, несвязанными функциями редко сильно ухудшают общую точность, особенно в случае линейных моделей высокой размерности. Уточнение, иногда называемое приемом знакового хеширования, также хэширует каждый признак со случайным знаком +1 или -1, добавляемым вместе со значением, что приводит к тому, что коллизии в среднем частично компенсируются, а не всегда конструктивно добавляются, уменьшая смещение в результирующих значениях признака. Распространенным заблуждением является то, что хеширование признаков — это форма уменьшения размерности, такая как PCA; это не так, поскольку он не пытается сохранить дисперсию или структуру, а лишь дает представление фиксированного размера неограниченного пространства признаков за счет некоторого шума столкновений.

Реальная реализация

Классификатор спама электронной почты хэширует каждое слово в сообщении, скажем, в одну из, скажем, 2^20 корзин, избегая необходимости поддерживать словарь каждого слова, когда-либо встречавшегося в растущем обучающем наборе.

Система онлайн-рекламы хэширует идентификаторы пользователей и рекламы, число которых исчисляется миллиардами и постоянно растет, в вектор функций фиксированного размера, поэтому входное измерение модели никогда не должно меняться по мере появления новых пользователей и рекламы.

Система рекомендаций объединяет SKU продуктов в фиксированное количество сегментов, позволяя немедленно представлять новые запасы без переобучения кодировщика, зависящего от словарного запаса.

Два редких, несвязанных слова случайно попадают в один и тот же блок классификатора текста, что приводит к коллизии, из-за которой модель слегка объединяет их сигналы — компромисс, принимаемый в обмен на постоянное использование памяти.

Будущее трюка с хешированием функций

Хеширование признаков остается стандартным методом для крупномасштабных линейных моделей и деревьев с градиентным усилением, работающих с категориальными данными высокой мощности, особенно в рекламных, поисковых и рекомендательных системах, где словари огромны и постоянно меняются. В глубоком обучении изученные таблицы внедрения стали более распространенной альтернативой для представления категориальных функций, хотя хеширование по-прежнему используется в качестве запасного варианта, ограниченного памятью, или в сочетании с внедрениями для ограничения размера таблицы для чрезвычайно больших словарей, таких как миллиарды идентификаторов пользователей или элементов. Сам основной метод прост и математически обоснован, поэтому будущие разработки, скорее всего, будут сосредоточены на гибридных архитектурах хеширования и внедрения, а не на изменении механизма хеширования.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Пройдите викторину «Уловка хеширования функций»

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое трюк с хешированием функций?

Трюк с хешированием признаков преобразует категориальные или текстовые признаки, потенциально из огромного или неограниченного словаря, в числовой вектор фиксированного размера, применяя хэш-функцию к каждому имени признака и используя результат в качестве индекса, вместо создания и хранения явного словаря, сопоставляющего каждое уникальное значение со столбцом. Это важно, поскольку позволяет моделям обрабатывать очень большие или потоковые словари, такие как каждое слово или каждый идентификатор пользователя, с постоянной, предсказуемой памятью, ценой случайных коллизий хэшей.

Какую основную проблему решает трюк с хешированием для категориальных или текстовых функций?

Хеширование признаков заменяет явный, постоянно растущий словарь уникальных значений прямым сопоставлением хеша с сегментом, поэтому размер пространства признаков остается фиксированным независимо от роста словаря.

Как в FeatureHasher фиксированного размера имя объекта выбирает свою выходную координату?

Индекс сегмента получается в результате хеширования имени объекта и получения результата по модулю m, выбранного количества сегментов, без необходимости поиска в словаре.

Две несвязанные строки токенов попадают в один выходной сегмент. Какое событие хеширования произошло?

Коллизия происходит, когда два различных значения функции хэшируются в один и тот же индекс сегмента, поэтому модель больше не может полностью разделить их отдельные вклады.

Что определяет при хешировании признаков со знаком, добавляется или вычитается вклад функции?

Знаковое хеширование умножает вклад каждой функции на случайно определенный знак из второй хеш-функции, что приводит к тому, что конфликтующие вклады частично аннулируются, а не всегда конструктивно добавляются.

Почему вариант знакового хеширования обычно предпочтительнее беззнакового хеширования?

Хеширование со знаком может привести к отмене ожидаемых вкладов в конфликты, но коллизии остаются возможными, и хешированные имена невозможно восстановить только из вектора.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →