ДаліНаступний посібник
Виявлення каріозної порожнини за допомогою штучного інтелекту
Візуальний ШІ
Технічний КЕРІВНИЦТВО
Промінь для розподіленого ШІ
Ray — це фреймворк із відкритим кодом, який дозволяє легко масштабувати робочі навантаження Python і AI від ноутбука до кластера з тисяч машин.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
It matters because it gives a simple, unified way to distribute training, tuning, data processing, and serving without rewriting your code for each.
Глибоке занурення
Основна ідея Рея полягає в тому, щоб перетворити звичайні функції та класи Python на розподілені одиниці з мінімальними змінами. Функція, позначена як віддалене «завдання», виконується асинхронно на будь-якому робочому місці в кластері; клас, позначений як віддалений «актор», стає службою зі збереженням стану, що живе на робочому. Ray повертає легкі ф’ючерси (посилання на об’єкти) і керує плануванням, переміщенням даних через спільне сховище об’єктів і відмовостійкістю. На додаток до цього ядра розташовані спеціальні бібліотеки: Ray Train для навчання розподіленої моделі, Ray Tune для пошуку гіперпараметрів, Ray Data для конвеєрів потокових даних, RLlib для навчання з підкріпленням і Ray Serve для обслуговування масштабованої моделі. Це дозволяє одному кластеру обробляти весь робочий процес машинного навчання від кінця до кінця.
Реалізація в реальному світі
Запуск Ray Tune для пошуку сотень комбінацій гіперпараметрів паралельно в кластері GPU для пошуку найкращої конфігурації моделі
Використання Ray Train для розподілу навчання моделі глибокого навчання між багатьма GPU та вузлами з мінімальними змінами коду
Створення конвеєра пакетного висновку за допомогою Ray Data для оцінки мільйонів записів шляхом потокової передачі їх через модель через кластер
Розгортання кількох моделей за однією кінцевою точкою автоматичного масштабування за допомогою Ray Serve для обробки змінного робочого трафіку
Майбутнє Ray для розподіленого ШІ
Ray став основою для великомасштабного штучного інтелекту, який, зокрема, використовується для навчання та обслуговування великих мовних моделей. Очікуйте збільшення обсягів послуг, що стосуються LLM (Ray Serve з vLLM), гетерогенного планування GPU, тіснішої інтеграції з озерами даних і Kubernetes через KubeRay, а також кращого автоматичного масштабування для різких генеративних робочих навантажень. У міру зростання моделей роль Ray в організації багатовузлового навчання, конвеєрів RLHF і пакетного висновку на тисячах прискорювачів, ймовірно, розшириться.
Застосування на практиці
Чому це важливо
- Вартість і бюджет. Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
- Чіткіші рішення. Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
- Контроль якості. Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Зверніть увагу на
- Оптимізація одного тесту може приховати ширші слабкі сторони системи.
- Витрати на інфраструктуру та обслуговування часто недооцінюються.
- Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Наступні кроки
- Визначте цільові показники затримки, якості та вартості перед впровадженням.
- Тест за реалістичних умов навантаження та даних.
- Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
- Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Ray for Distributed AI quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is Ray for Distributed AI?
Ray — це фреймворк із відкритим кодом, який дозволяє легко масштабувати робочі навантаження Python і AI від ноутбука до кластера з тисяч машин. Це важливо, тому що дає простий уніфікований спосіб розподілу навчання, налаштування, обробки даних і обслуговування без переписування коду для кожного.
Яку проблему в першу чергу вирішує Рей?
Ray забезпечує уніфікований простий спосіб розподілу обчислень між багатьма машинами без переписування коду для кожного типу робочого навантаження.
У чому полягає різниця між «завданням» і «актором»?
Завдання — це віддалені функції без стану, які виконуються паралельно, тоді як актори — довгоживучі об’єкти, які зберігають стан, як завантажена модель.
Що відразу повертає Ray, коли ви запускаєте віддалене завдання?
Ray одразу повертає легке майбутнє, тому робота йде асинхронно; ви викликаєте ray.get(), щоб отримати фактичний результат, коли це необхідно.
Яка бібліотека Ray призначена для розподіленого пошуку гіперпараметрів?
Ray Tune спеціалізується на паралельному запуску багатьох випробувань гіперпараметрів у кластері.
Which object type do Ray’s docs explicitly say can be read from same-node object-store memory without a copy?
Ray documents zero-copy reads for NumPy arrays stored in the object store when workers on the same node access them. Other values may require deserialization, and data requested across nodes must be transferred.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми