ДаліНаступний посібник
Тензорний паралелізм для великих моделей
технічний
Технічний КЕРІВНИЦТВО
Паралелізм моделі та конвеєра
Коли модель занадто велика, щоб поміститися на один графічний процесор, паралелізм моделі та конвеєра розділяє саму модель між пристроями.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
This is what makes training giant language models with hundreds of billions of parameters physically possible.
Глибоке занурення
Паралелізм моделей розділяє одну модель на кілька графічних процесорів, тому жодному пристрою не потрібно тримати всі ваги. Існує два основних смаки. Тензорний (внутрішньошаровий) паралелізм розділяє математику всередині шару, наприклад розрізаючи множення великої матриці між GPU, кожен з яких обчислює частину результату. Конвеєрний (міжрівневий) паралелізм призначає різні послідовні рівні різним графічним процесорам, тому блок шару 1 живе на графічному процесорі 0, блок 2 — на графічному процесорі 1 і так далі, а активації передаються вперед, як конвеєр. Проблема з простою конвеєрністю полягає в «міхурі»: поки GPU 0 працює над першою партією, наступні графічні процесори простоюють. Конвеєрна розробка розбиває кожну партію на мікропартії, щоб усі етапи залишалися зайнятими, значно покращуючи використання.
Реалізація в реальному світі
Навчання моделей у стилі GPT за допомогою NVIDIA Megatron-LM, яка розподіляє увагу кожного шару трансформатора та матриці прямого зв’язку між графічним процесором за допомогою тензорного паралелізму.
Використання GPipe для розміщення різних шарів гігантського бачення або мовної моделі на окремих прискорювачах, а мікропакетування тримає їх зайнятими.
Механізм конвеєра DeepSpeed розбиває модель із кількома сотнями мільярдів параметрів на етапи між багатьма вузлами.
Поєднання тензорного паралелізму всередині одного сервера з 8 GPU з конвеєрним паралелізмом, що охоплює кілька серверів, щоб навчити модель, занадто велику для однієї машини.
Майбутнє паралелізму моделей і конвеєрів
Фреймворки дедалі більше автоматизують складну проблему вирішення питання про те, як розділити модель між пристроями, використовуючи профілювання та пошук, щоб збалансувати обчислення та зв’язок. Очікуйте тіснішої інтеграції тензорів, конвеєрів і паралелізму даних (3D-паралелізм), розумнішого планування мікро-пакетів, щоб майже усунути конвеєрні бульбашки, і апаратного забезпечення з швидшими з’єднаннями, щоб розділення одного рівня між мікросхемами ставало дешевшим і рутинним для все більших моделей.
Застосування на практиці
Чому це важливо
- Вартість і бюджет. Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
- Чіткіші рішення. Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
- Контроль якості. Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Зверніть увагу на
- Оптимізація одного тесту може приховати ширші слабкі сторони системи.
- Витрати на інфраструктуру та обслуговування часто недооцінюються.
- Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Наступні кроки
- Визначте цільові показники затримки, якості та вартості перед впровадженням.
- Тест за реалістичних умов навантаження та даних.
- Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
- Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Model and Pipeline Parallelism quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is Model and Pipeline Parallelism?
Коли модель занадто велика, щоб поміститися на один графічний процесор, паралелізм моделі та конвеєра розділяє саму модель між пристроями. Саме це робить фізично можливим навчання гігантських мовних моделей із сотнями мільярдів параметрів.
Яку фундаментальну проблему вирішує паралелізм моделі та конвеєра?
Паралелізм моделі та конвеєра розподіляє саму модель між пристроями, уможливлюючи навчання мереж, набагато більших, ніж будь-який окремий GPU.
Як працює тензорний (внутрішньошаровий) паралелізм?
Тензорний паралелізм розділяє обчислення в межах одного шару, наприклад розділяючи велику вагову матрицю, щоб кожен графічний процесор обчислював частину результату.
Що таке «бульбашка» в наївному паралелізмі конвеєрів?
На початку етапу конвеєра наступні етапи ще не мають вхідних даних і простоюють, витрачаючи час GPU; цей непрацюючий зазор називається бульбашкою.
Як паралельність трубопроводу зменшує бульбашку?
Поділ пакету на мікропакети дозволяє кільком мікропакетам одночасно займати різні етапи, забезпечуючи зайнятість усіх графічних процесорів і скорочуючи час простою.
Чому паралелізм тензорів зазвичай зберігається в межах одного вузла?
Тензорний паралелізм часто спілкується, щоб рекомбінувати результати часткової матриці, тому він розміщується там, де пропускна здатність міжз’єднання найвища, всередині вузла через NVLink.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми