ДаліНаступний посібник
Квантування GPTQ і AWQ після навчання
технічний
Технічний КЕРІВНИЦТВО
Навчальні стеки DeepSpeed і Megatron
DeepSpeed (Microsoft) і Megatron-LM (NVIDIA) — це стеки програмного забезпечення, які роблять тренувальні моделі з мільярдами параметрів на тисячах графічних процесорів реальними.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Without them, today's frontier models simply could not fit in memory or finish training in a reasonable time.
Глибоке занурення
Навчання великої моделі на одному графічному процесорі неможливо, оскільки ваги, градієнти та стани оптимізатора не підходять. Ці стеки розподіляють роботу між багатьма графічним процесором. Megatron-LM започаткувала тензорний паралелізм, розрізаючи окремі множення матриці всередині кожного шару на графічних процесорах, а також конвеєрний паралелізм, який розміщує різні шари на різних графічних процесорах. Основним внеском DeepSpeed є ZeRO (оптимізатор нульової надлишковості), який розподіляє стани оптимізатора, градієнти та параметри на графічних процесорах замість їх реплікації, різко скорочуючи пам’ять для кожного графічного процесора. Їх часто поєднують (Megatron-DeepSpeed) для навчання таких моделей, як BLOOM-176B і Megatron-Turing NLG. Вони також додають змішану точність, контрольні точки активації та розвантаження на ЦП або NVMe, щоб величезні моделі тренувалися на обмеженому обладнанні.
Реалізація в реальному світі
Навчання відкритої багатомовної моделі BLOOM-176B з використанням комбінованого стеку Megatron-DeepSpeed на сотнях GPU.
Microsoft та NVIDIA тренують модель Megatron-Turing NLG із 530 мільярдами параметрів із 3D-паралелізмом.
ZeRO-Offload дозволяє дослідникам точно налаштовувати моделі з кількома мільярдами параметрів на одному графічному процесорі робочої станції шляхом перенесення станів оптимізатора на оперативну пам’ять ЦП.
Використання контрольних точок активації в цих стеках, щоб відповідати довшим контекстним вікнам шляхом повторного обчислення активацій замість того, щоб зберігати їх усі.
Майбутнє навчальних стеків DeepSpeed і Megatron
Очікуйте більш тісної інтеграції з рідною FSDP PyTorch (Fully Sharded Data Parallel), яка увібрала багато ідей ZeRO, стираючи межу між дослідницькими стеками та базовими фреймворками. Підходи, керовані компілятором, і автоматичні планувальники паралелізму спрямовані на усунення ручного налаштування. Оскільки навчальні кластери зростають до сотень тисяч прискорювачів, відмовостійкість, еластичне масштабування та перекриття зв’язку з обчисленнями стають домінуючими інженерними межами, поряд із підтримкою нового апаратного забезпечення, наприклад NVIDIA Blackwell, і спеціальних навчальних чіпів.
Застосування на практиці
Чому це важливо
- Вартість і бюджет. Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
- Чіткіші рішення. Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
- Контроль якості. Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Зверніть увагу на
- Оптимізація одного тесту може приховати ширші слабкі сторони системи.
- Витрати на інфраструктуру та обслуговування часто недооцінюються.
- Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Наступні кроки
- Визначте цільові показники затримки, якості та вартості перед впровадженням.
- Тест за реалістичних умов навантаження та даних.
- Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
- Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the DeepSpeed and Megatron Training Stacks quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is DeepSpeed and Megatron Training Stacks?
DeepSpeed (Microsoft) і Megatron-LM (NVIDIA) — це стеки програмного забезпечення, які роблять тренувальні моделі з мільярдами параметрів на тисячах графічних процесорів реальними. Без них сучасні прикордонні моделі просто не змогли б укластися в пам'яті або завершити навчання в прийнятний термін.
Яке основне призначення оптимізатора ZeRO від DeepSpeed?
ZeRO (оптимізатор нульової надлишковості) усуває надмірність пам’яті, розподіляючи стани оптимізатора, градієнти та параметри між графічним процесором, а не копіюючи їх на кожному пристрої.
Як тензорний паралелізм, запроваджений у Megatron-LM, розбиває модель?
Тензорний паралелізм розділяє математику всередині одного шару (наприклад, множення великої матриці) на кілька графічних процесорів, що є внутрішньорівневим поділом.
Який етап ZeRO забезпечує найбільше заощадження пам’яті завдяки шардингу самих параметрів моделі?
ZeRO Stage 3 сегментує параметри на додаток до градієнтів і станів оптимізатора, збираючи їх на вимогу, забезпечуючи найбільше скорочення пам’яті.
Що дає «контрольна точка активації» для збереження пам’яті під час навчання?
Контрольні точки активації зберігають менше проміжних активацій і повторно обчислюють їх під час зворотного розповсюдження, обмінюючи додаткові обчислення на зменшену пам’ять.
Чому поєднання цих методів часто називають «3D-паралелізмом»?
Тривимірний паралелізм об’єднує три ортогональні стратегії: паралелізм даних, тензорний (внутрішньошаровий) паралелізм і конвеєрний (міжрівневий) паралелізм.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми