Магазины функций
Хранилище функций — это центральная система, которая вычисляет, хранит и обслуживает входные переменные (функции), которые используют модели машинного обучения.
Обзор
It exists to guarantee that the exact same feature values are used during training and during live prediction, eliminating a notorious source of silent model failures.
Глубокое погружение
Модели не учатся на необработанных данных; они учатся на таких функциях, как «средняя сумма покупок за последние 30 дней» или «время с момента последнего входа в систему». Без хранилища функций одна команда вычисляет их в обучающем конвейере, а другая переопределяет их в рабочем коде, и эти две команды расходятся друг от друга, и возникает проблема, называемая перекосом обучения и обслуживания. Хранилище функций решает эту проблему с помощью двух синхронизированных уровней: автономного хранилища (хранилище данных, хранящего многолетнюю историю обучения) и интернет-магазина (быстрая база данных «ключ-значение», обслуживающая функции в течение миллисекунд для живых запросов). Оба заполнены одними и теми же определениями объектов. Команды также получают общий каталог, поэтому функции, созданные для одной модели, могут быть обнаружены и повторно использованы другой, а также корректность на определенный момент времени, которая предотвращает случайное обучение на данных из будущего.
Техническая информация
Самая сложная проблема, которую решает хранилище функций, — это соединения на определенный момент времени. При построении обучающего набора вы должны прикреплять значения признаков такими, какими они были на момент каждого исторического события, а не их текущие значения, иначе модель обучается на основе утечки данных. Хранилища функций отмечают временную метку каждого значения и выполняют соединение по состоянию с автономным хранилищем. Интернет-магазин, часто Redis или DynamoDB, хранит только последнее значение для каждого ключа сущности для поиска, занимающего менее 10 миллисекунд во время вывода.
Стратегическое воздействие
Стоимость и бюджет
Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
Более четкие решения
Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
Контроль качества
Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Будущее магазинов функций
Хранилища функций объединяются с более широким стеком данных: многие теперь вычисляют функции непосредственно внутри хранилищ данных, а не поддерживают отдельные конвейеры. Функции реального времени и потоковой передачи, вычисляемые на основе потоков событий за считанные секунды, становятся стандартом для мошенничества и персонализации. Ожидайте более глубокой интеграции с векторными базами данных, поскольку встраивания становятся первоклассными функциями, а также более тесной связи с мониторингом модели, чтобы автоматическое обнаружение отклонения функций. Также наблюдается стремление к «функциональным платформам», которые объединяют определение, обслуживание, мониторинг и управление на одном управляемом уровне.
Реальная реализация
Платежная компания хранит в интернет-магазине функции круглосуточной проверки скорости транзакций, поэтому ее модель мошенничества позволяет провести операцию менее чем за 10 миллисекунд.
Служба потоковой передачи определяет «время просмотра за последние 7 дней» один раз в хранилище функций, а затем повторно использует его в моделях рекомендаций, оттока и таргетинга рекламы.
Кредитная платформа использует соединения на определенный момент времени для создания обучающих данных, гарантируя, что каждое решение о кредите учитывает только характеристики заявителя, известные до этого решения.
Приложение для заказа поездок в режиме реального времени предоставляет функции в режиме реального времени и доступности драйверов от конвейера функций потоковой передачи до модели прогнозирования ETA.
Риски и ограничения
Оптимизация одного теста может скрыть более широкие недостатки системы.
Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Дорожная карта реализации
Определите целевые показатели задержки, качества и стоимости перед внедрением.
Тестирование при реалистичной нагрузке и условиях данных.
Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Feature Stores quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Линейное зондирование и оценка замороженных элементов
Часто задаваемые вопросы
What is Feature Stores?
Хранилище функций — это центральная система, которая вычисляет, хранит и обслуживает входные переменные (функции), которые используют модели машинного обучения. Он существует для того, чтобы гарантировать, что одни и те же значения функций используются во время обучения и во время прогнозирования в реальном времени, устраняя печально известный источник скрытых сбоев модели.
Какую основную проблему в первую очередь решает хранилище функций?
Вычисляя функции на основе общих определений и предоставляя одни и те же значения как для обучения, так и для вывода, хранилища функций устраняют перекос между ними.
В чем разница между офлайн- и интернет-магазинами?
Автономный магазин хранит многолетнюю историю создания обучающих наборов, а интернет-магазин представляет собой базу данных с малой задержкой, обслуживающую текущие значения функций во время вывода.
Почему соединения на определенный момент времени важны при построении обучающих данных?
Использование текущих значений вместо исторических позволяет модели «видеть будущее», повышая точность в автономном режиме, но теряя производительность. Присоединения исправят это.
Какой тип базы данных обычно используется для интернет-магазина?
Для онлайн-обслуживания требуется менее 10 миллисекунд поиска по ключу сущности, поэтому типичным выбором являются быстрые хранилища ключей в памяти или NoSQL.
Что такое «особенность» в этом контексте?
Функции — это обработанные входные сигналы, которые потребляет модель, часто агрегирование или преобразование необработанных данных, а не сами необработанные данные.