ДалееСледующее руководство
TensorRT и машины вывода
Технический
Техническое РУКОВОДСТВО
Ядро Селдона и графы вывода
Seldon Core — это платформа с открытым исходным кодом для развертывания моделей машинного обучения в Kubernetes с выдающейся функцией: графами вывода.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Вместо обслуживания одной изолированной модели он позволяет объединять модели, маршрутизаторы, объединители и преобразователи в единый ориентированный граф, который работает как один развертываемый сервис.
Глубокое погружение
Многие реальные сценарии использования включают в себя более одного вызова модели. Вы можете предварительно обработать входные данные, направить запрос к одной из нескольких моделей, запустить ансамбль, а затем выполнить постобработку результата. Seldon Core выражает это как граф вывода, определенный в SeldonDeployment (или, в архитектуре v2, через Seldon Core Оператор и MLServer). Граф строится из типов компонентов многократного использования: Модель предоставляет прогнозы, Трансформатор изменяет входные или выходные данные, Маршрутизатор решает, какой дочерний элемент вызывать (включая A/B-тесты и многоруких бандитов), а Комбинатор объединяет выходные данные нескольких моделей для ансамбля. Seldon поддерживает множество платформ через предварительно упакованные серверы и специальные оболочки Python, а также предоставляет богатые метрики, распределенную трассировку и журналирование полезной нагрузки «из коробки» для наблюдаемости и понятности.
Реальная реализация
Кредитор связывает преобразователь, который выполняет горячее кодирование функций, в узел модели, затем преобразователь, который форматирует оценку, и все это как один SeldonDeployment.
Медиа-компания использует узел маршрутизатора, на котором работает многорукий бандит, для динамической отправки большего трафика в зависимости от модели рекомендаций, которая приносит более высокое вознаграждение за клик.
Команда объединяет три модели мошенничества с помощью узла объединения, который усредняет их оценки, прежде чем возвращать единственное решение вызывающему абоненту.
Регулируемая страховая компания прикрепляет журналы полезной нагрузки Селдона и пояснения Алиби к графику выводов, чтобы каждый прогноз можно было отследить и объяснить для аудита.
Будущее ядра Селдона и графов вывода
Селдон движется в сторону модульных, ориентированных на данные MLOps с конвейером и потоками данных Core v2, а также с более тесной связью с обнаружением дрейфа (Alibi Detect) и объяснимостью (Alibi Объясните). Поскольку LLM и агентные системы становятся составными графами поиска, моделями и инструментами, абстракция графа вывода естественным образом отображается на этих рабочих процессах. Ожидайте большего внимания к эффективности обслуживания нескольких моделей, потоковой передаче и стандартизированной наблюдаемости, чтобы сложные, многоэтапные системы искусственного интеллекта оставались поддающимися отладке и управляемости в производстве.
Применение на практике
Почему это важно
- Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
- Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
- Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Следите за
- Оптимизация одного теста может скрыть более широкие недостатки системы.
- Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
- Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Следующие шаги
- Определите целевые показатели задержки, качества и стоимости перед внедрением.
- Тестирование при реалистичной нагрузке и условиях данных.
- Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
- Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Seldon Core and Inference Graphs quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое ядро Селдона и графы вывода?
Seldon Core — это платформа с открытым исходным кодом для развертывания моделей машинного обучения в Kubernetes с выдающейся функцией: графами вывода. Вместо обслуживания одной изолированной модели он позволяет объединять модели, маршрутизаторы, объединители и преобразователи в единый ориентированный граф, который работает как один развертываемый сервис.
Какая определяющая особенность отличает Seldon Core от сервера одной модели?
Seldon Core позволяет объединять модели, маршрутизаторы, объединители и преобразователи в единый граф вывода, развернутый как один сервис.
Какой компонент графа Селдона решает, какому дочернему узлу отправить запрос, позволяя проводить A/B-тесты?
Маршрутизатор направляет запросы одному из своих дочерних элементов и может реализовывать A/B-тесты или «многоруких бандитов».
Какой тип компонента объединяет результаты нескольких моделей для ансамбля?
Комбинатор объединяет ответы нескольких дочерних моделей в один результат, именно так строятся ансамбли.
Какую структуру графа образует граф вывода Селдона?
Графы вывода Селдона — это ориентированные ациклические графы, где каждый узел представляет собой микросервис со стандартным интерфейсом прогнозирования.
Какой сервер и протокол в Seldon Core v2 обеспечивают мультимодельное обслуживание по всему графу?
Core v2 отделяет граф от серверов моделей с помощью MLServer и протокола открытого вывода для обслуживания нескольких моделей.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме