СледваСледващо ръководство
Тензорен паралелизъм за големи модели
технически
Техническо РЪКОВОДСТВО
Паралелизъм на модел и конвейер
Когато даден модел е твърде голям, за да се побере на един GPU, паралелизмът на модела и тръбопровода разделя самия модел на устройства.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
This is what makes training giant language models with hundreds of billions of parameters physically possible.
Дълбоко гмуркане
Паралелизмът на модела разделя един модел на множество графични процесори, така че нито едно устройство не трябва да държи всички тегла. Има два основни вкуса. Тензорният (вътрешен слой) паралелизъм разделя математиката вътре в слой, като например нарязване на голямо матрично умножение между графични процесори, всеки от които изчислява част от изхода. Паралелизмът на тръбопровода (между слоевете) присвоява различни последователни слоеве на различни GPU, така че слой 1 живее на GPU 0, блок 2 на GPU 1 и т.н., като активациите се предават напред като поточна линия. Предизвикателството с наивния конвейер е „балонът“: докато GPU 0 работи на първата партида, графичните процесори надолу по веригата стоят бездействащи. Конвейерът разделя всяка партида на микро-партиди, така че всички етапи да останат заети, драматично подобрявайки използването.
Внедряване в реалния свят
Обучение на модели в стил GPT с NVIDIA Megatron-LM, който разделя вниманието на всеки трансформаторен слой и матриците за подаване напред между GPU чрез тензорен паралелизъм.
Използването на GPipe за поставяне на различни слоеве от гигантска визия или езиков модел на отделни ускорители, докато микропакетирането ги държи заети.
Тръбопроводният механизъм на DeepSpeed разделя модел с няколко стотици милиарда параметри на етапи в много възли.
Комбиниране на тензорен паралелизъм в един сървър с 8 GPU с паралелизъм на конвейер, обхващащ множество сървъри, за да се обучи модел, твърде голям за една машина.
Бъдещето на моделния и конвейерния паралелизъм
Рамките все повече автоматизират трудния проблем с вземането на решение как да се раздели модел между устройства, като се използва профилиране и търсене, за да се балансира изчислението и комуникацията. Очаквайте по-тясна интеграция на тензор, конвейер и паралелизъм на данни (3D паралелизъм), по-интелигентно планиране на микро-партиди за почти елиминиране на конвейерните мехурчета и хардуер с по-бързи връзки, така че разделянето на един слой между чипове да става по-евтино и по-рутинно за все по-големи модели.
Прилагайки го на практика
Защо има значение
- Разходи и бюджет. Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
- По-ясни решения. Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
- Контрол на качеството. По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
Внимавайте за
- Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
- Разходите за инфраструктура и поддръжка често се подценяват.
- Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Следващи стъпки
- Определете целите за латентност, качество и разходи преди внедряването.
- Бенчмарк при реалистични условия на натоварване и данни.
- Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
- Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Model and Pipeline Parallelism quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is Model and Pipeline Parallelism?
Когато даден модел е твърде голям, за да се побере на един GPU, паралелизмът на модела и тръбопровода разделя самия модел на устройства. Това прави обучението на гигантски езикови модели със стотици милиарди параметри физически възможно.
Какъв основен проблем решава паралелизмът на модела и конвейера?
Паралелизмът на модела и тръбопровода разделя самия модел между устройствата, позволявайки обучение на мрежи, далеч по-големи от това, което всеки един GPU може да побере.
Как работи разделянето на тензорен (вътрешен слой) паралелизъм?
Тензорният паралелизъм разделя изчислението в рамките на един слой, например разделяйки матрица с голямо тегло, така че всеки GPU изчислява част от изхода.
Какво е „балонът“ в наивния паралелизъм на тръбопровода?
В началото на етапа на тръбопровода, низходящите етапи все още нямат вход и стоят неактивни, губейки GPU време; тази празна междина се нарича балон.
Как успоредността на тръбопровода намалява балона?
Разделянето на партида на микропартиди позволява на множество микропартиди да заемат различни етапи едновременно, поддържайки всички графични процесори заети и намалявайки времето на неактивност.
Защо тензорният паралелизъм обикновено се поддържа в рамките на един възел?
Тензорният паралелизъм комуникира често, за да рекомбинира частични матрични резултати, така че се поставя там, където честотната лента на свързване е най-висока, вътре в възел през NVLink.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема