ДалееСледующее руководство
Спекулятивные изменения моделей кода
Технический
Техническое РУКОВОДСТВО
BentoML и упаковка моделей
BentoML — это платформа Python с открытым исходным кодом, которая объединяет обученные модели машинного обучения в стандартизированные развертываемые блоки, называемые «Bentos».
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Он устраняет разрыв между моделью, хранящейся в блокноте, и производственным сервисом, который действительно может предоставлять прогнозы через API.
Глубокое погружение
Когда специалист по данным заканчивает обучение модели, запуск ее в производство обычно означает написание обслуживающего кода вручную, закрепление зависимостей, создание образа Docker и подключение API. BentoML автоматизирует это. Вы сохраняете модель в локальном хранилище моделей, а затем определяете класс обслуживания с конечной точкой API, предназначенной для обработки вывода. Команда «bentoml build» упаковывает модель, ваш код Python, версии зависимостей и конфигурацию среды выполнения в автономный Bento с поддержкой версий. Оттуда «bentomlContainerize» создает образ OCI Docker. BentoML поддерживает практически все платформы (PyTorch, TensorFlow, scikit-learn, XGBoost, Hugging Face Transformers, ONNX) и добавляет адаптивную микропакетную обработку, которая автоматически группирует входящие запросы для максимизации пропускной способности графического процессора без изменения кода.
Реальная реализация
Команда по обнаружению мошенничества сохраняет модель XGBoost в хранилище BentoML и создает Bento, который предоставляет конечную точку REST /predict для вызова платежной службы в режиме реального времени.
Команда платформы ML использует «bentomlContainerize», чтобы превратить модель настроений Hugging Face в образ Docker, который развертывается во внутреннем кластере Kubernetes.
Стартап обслуживает точно настроенную модель Llama с OpenLLM (построенной на BentoML), передавая токены в пользовательский интерфейс чата с адаптивной пакетной обработкой, сохраняя нагрузку на графический процессор.
Компания, занимающаяся компьютерным зрением, упаковывает классификатор изображений PyTorch с конвейером предварительной обработки в один Bento, поэтому точные преобразования, используемые при обучении, передаются вместе с моделью.
Будущее BentoML и модельной упаковки
BentoML активно использует модель большого языка и генеративное обслуживание искусственного интеллекта, а OpenLLM и BentoCloud предлагают потоковую передачу ответов токенов, автоматическое масштабирование и планирование с учетом графического процессора. Ожидайте более тесной интеграции с оптимизаторами вывода, такими как vLLM и TensorRT-LLM, лучшей поддержкой многомодельных составных систем искусственного интеллекта и более плавным путем от пакетного Bento к развертыванию бессерверного графического процессора. По мере того как команды переходят от одиночных моделей к агентным конвейерам, BentoML позиционирует себя как уровень упаковки и обслуживания, который связывает эти компоненты вместе.
Применение на практике
Почему это важно
- Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
- Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
- Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Следите за
- Оптимизация одного теста может скрыть более широкие недостатки системы.
- Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
- Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Следующие шаги
- Определите целевые показатели задержки, качества и стоимости перед внедрением.
- Тестирование при реалистичной нагрузке и условиях данных.
- Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
- Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the BentoML and Model Packaging quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое BentoML и упаковка моделей?
BentoML — это платформа Python с открытым исходным кодом, которая объединяет обученные модели машинного обучения в стандартизированные развертываемые блоки, называемые «Bentos». Он устраняет разрыв между моделью, хранящейся в блокноте, и производственным сервисом, который действительно может предоставлять прогнозы через API.
Что представляет собой стандартизированное развертываемое устройство, которое производит BentoML?
BentoML упаковывает модель, ее код, зависимости и конфигурацию среды выполнения в автономный модуль с поддержкой версий, называемый Bento.
Что в первую очередь улучшает адаптивное микропакетирование BentoML?
Адаптивная пакетная обработка группирует входящие запросы во время выполнения, чтобы обеспечить занятость графических процессоров и максимизировать пропускную способность без изменений кода.
In BentoML 1.1’s Runner-based architecture, what handles compute-heavy model execution separately from API logic?
BentoML documentation describes Runners as the legacy 1.1 computation units that could execute separately; newer BentoML versions streamline services.
Какая команда превращает встроенный Bento в образ OCI Docker?
«bentomlContainerize» создает стандартный образ OCI/Docker из Bento для развертывания.
Что из этого является основной причиной, по которой BentoML встраивает версии зависимостей в Bento?
Закрепление и внедрение среды делает упакованную службу воспроизводимой и согласованной, где бы она ни выполнялась.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме