СледваСледващо ръководство
AI Дентално рентгеново откриване на кухини
Визуален AI
Техническо РЪКОВОДСТВО
Рей за разпределен AI
Ray е рамка с отворен код, която улеснява мащабирането на натоварвания на Python и AI от лаптоп до клъстер от хиляди машини.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
It matters because it gives a simple, unified way to distribute training, tuning, data processing, and serving without rewriting your code for each.
Дълбоко гмуркане
Основната идея на Рей е превръщането на обикновените функции и класове на Python в разпределени единици с минимални промени. Функция, маркирана като отдалечена „задача“, се изпълнява асинхронно на всеки работник в клъстера; клас, маркиран като отдалечен „актьор“, се превръща в услуга със състояние, живееща върху работник. Ray връща олекотени фючърси (референции на обекти) и управлява планирането, движението на данни чрез хранилище на споделени обекти и устойчивостта на грешки. Върху това ядро се намират специално изградени библиотеки: Ray Train за обучение на разпределен модел, Ray Tune за търсене на хиперпараметри, Ray Data за поточно предаване на данни, RLlib за обучение с подсилване и Ray Serve за сервиране на мащабируем модел. Това позволява на един клъстер да обработва цял ML работен процес от край до край.
Внедряване в реалния свят
Изпълнение на Ray Tune за търсене на стотици комбинации от хиперпараметри паралелно в GPU клъстер, за да намерите най-добрата конфигурация на модела
Използване на Ray Train за разпространение на обучението на модел за задълбочено обучение в много GPU и възли с минимални промени в кода
Изграждане на тръбопровод за групово извеждане с Ray Data за отчитане на милиони записи чрез поточно предаване през модел през клъстер
Внедряване на множество модели зад една крайна точка за автоматично мащабиране с Ray Serve за обработка на променлив производствен трафик
Бъдещето на Ray за разпределен AI
Ray се превърна в гръбнак за широкомащабен AI, използван по-специално при обучение и обслужване на големи езикови модели. Очаквайте растеж в обслужването, специфично за LLM (Ray Serve с vLLM), хетерогенно планиране на GPU, по-тясна интеграция с езера от данни и Kubernetes чрез KubeRay и по-добро автоматично мащабиране за резки генеративни натоварвания. С нарастването на моделите ролята на Ray в организирането на многовъзлово обучение, RLHF тръбопроводи и групово извеждане в хиляди ускорители вероятно ще се разшири.
Прилагайки го на практика
Защо има значение
- Разходи и бюджет. Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
- По-ясни решения. Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
- Контрол на качеството. По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
Внимавайте за
- Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
- Разходите за инфраструктура и поддръжка често се подценяват.
- Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Следващи стъпки
- Определете целите за латентност, качество и разходи преди внедряването.
- Бенчмарк при реалистични условия на натоварване и данни.
- Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
- Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Ray for Distributed AI quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is Ray for Distributed AI?
Ray е рамка с отворен код, която улеснява мащабирането на натоварвания на Python и AI от лаптоп до клъстер от хиляди машини. Има значение, защото дава прост, унифициран начин за разпространение на обучение, настройка, обработка на данни и обслужване, без да пренаписвате кода си за всеки.
Какъв проблем основно решава Рей?
Ray предоставя унифициран, лесен начин за разпределяне на изчисленията между много машини, без да пренаписвате кода си за всеки тип натоварване.
В Рей каква е разликата между „задача“ и „актьор“?
Задачите са отдалечени функции без състояние, изпълнявани паралелно, докато актьорите са дълготрайни обекти, които поддържат състояние, като зареден модел.
Какво връща Ray веднага, когато стартирате отдалечена задача?
Ray връща незабавно леко бъдеще, така че работата протича асинхронно; извиквате ray.get(), за да извлечете действителния резултат, когато е необходимо.
Коя библиотека Ray е предназначена за разпределено търсене на хиперпараметри?
Ray Tune е специализирана в паралелното провеждане на много хиперпараметрични изпитвания в клъстер.
Which object type do Ray’s docs explicitly say can be read from same-node object-store memory without a copy?
Ray documents zero-copy reads for NumPy arrays stored in the object store when workers on the same node access them. Other values may require deserialization, and data requested across nodes must be transferred.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема