ДаліНаступний посібник
TensorRT і механізми логічного висновку
технічний
Технічний КЕРІВНИЦТВО
Ядро Селдона та графи висновків
Seldon Core — це платформа з відкритим вихідним кодом для розгортання моделей машинного навчання на Kubernetes із видатною функцією: графами висновків.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Замість того, щоб обслуговувати одну ізольовану модель, він дозволяє об’єднувати моделі, маршрутизатори, об’єднувачі та трансформатори в єдиний орієнтований граф, який працює як одна розгортаюча служба.
Глибоке занурення
Багато випадків реального використання включають більше ніж один виклик моделі. Ви можете попередньо обробити вхідні дані, направити запит до однієї з кількох моделей, запустити ансамбль, а потім виконати постобробку результату. Seldon Core виражає це як граф висновків, визначений у SeldonDeployment (або, в архітектурі v2, через Seldon Core Operator і MLServer). Графік побудовано з типів компонентів, які можна використовувати багаторазово: модель обслуговує прогнози, трансформатор змінює входи або виходи, маршрутизатор вирішує, який дочірній елемент викликати (забезпечуючи A/B-тести та багаторуких бандитів), а об’єднувач об’єднує виходи з кількох моделей для об’єднання. Seldon підтримує багато фреймворків через готові сервери та користувальницькі оболонки Python, а також надає розширені показники, розподілене трасування та вихід корисного навантаження з коробки для спостереження та пояснення.
Реалізація в реальному світі
Кредитор зв’язує Transformer, який одноразово кодує функції у вузол моделі, а потім Transformer, який форматує оцінку, і все як один SeldonDeployment.
Медіа-компанія використовує вузол Router, на якому керує багаторукий бандит, щоб динамічно надсилати більше трафіку до тієї моделі рекомендацій, яка отримує вищу винагороду за клік.
Команда об’єднує три моделі шахрайства з вузлом Combiner, який усереднює їхні бали перед тим, як повернути абоненту єдине рішення.
Регульований страховик прикріплює журнал корисного навантаження Селдона та пояснювачі Alibi до графіка висновків, щоб кожен прогноз можна було відстежити та пояснити для аудиту.
Майбутнє ядра Селдона та графів висновків
Селдон рухається до модульних MLO, орієнтованих на дані, з конвеєром і дизайном потоку даних Core v2, а також більш тісним зв’язком із виявленням дрейфу (Alibi Detect) і можливістю пояснення (Alibi Explain). Оскільки LLM та агентні системи стають складними графами пошуку, моделей та інструментів, абстракція графа висновку природним чином відображається на цих робочих процесах. Очікуйте більшої уваги до ефективності мультимодельного обслуговування, потокової передачі та стандартизованої спостережливості, щоб складні багатоетапні системи штучного інтелекту залишалися налагоджуваними та керованими у виробництві.
Застосування на практиці
Чому це важливо
- Вартість і бюджет. Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
- Чіткіші рішення. Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
- Контроль якості. Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Зверніть увагу на
- Оптимізація одного тесту може приховати ширші слабкі сторони системи.
- Витрати на інфраструктуру та обслуговування часто недооцінюються.
- Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Наступні кроки
- Визначте цільові показники затримки, якості та вартості перед впровадженням.
- Тест за реалістичних умов навантаження та даних.
- Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
- Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Seldon Core and Inference Graphs quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
Що таке ядро Селдона та графи висновків?
Seldon Core — це платформа з відкритим вихідним кодом для розгортання моделей машинного навчання на Kubernetes із видатною функцією: графами висновків. Замість того, щоб обслуговувати одну ізольовану модель, він дозволяє об’єднувати моделі, маршрутизатори, об’єднувачі та трансформатори в єдиний орієнтований граф, який працює як одна послуга, що розгортається.
Яка визначальна особливість відрізняє Seldon Core від одномодельного сервера?
Seldon Core дозволяє компонувати моделі, маршрутизатори, комбінатори та трансформатори в єдиний граф висновків, розгорнутий як одна служба.
Який компонент графа Селдона вирішує, до якого дочірнього вузла надсилати запит, уможливлюючи A/B-тести?
Маршрутизатор спрямовує запити до одного зі своїх дочірніх пристроїв і може виконувати A/B-тести або багаторуких бандитів.
Який тип компонента об’єднує результати з кількох моделей для об’єднання?
Комбінатор об’єднує відповіді кількох дочірніх моделей в один вихід, таким чином будуються ансамблі.
Яку структуру графа формує граф виведення Селдона?
Графи висновків Селдона — це спрямовані ациклічні графи, де кожен вузол є мікросервісом зі стандартним інтерфейсом передбачення.
У Seldon Core v2, який сервер і протокол дають змогу обслуговувати багато моделей на графіку?
Core v2 відокремлює графік від серверів моделей за допомогою MLServer і Open Inference Protocol для обслуговування кількох моделей.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми