Вікторина, пов’язана з посібником · важко Рівень

Тест на паралельність моделі та трубопроводу

Пояснює тензорне та конвеєрне розбиття, передачі активації, розклади мікропакетів, конвеєрні бульбашки та комунікаційні компроміси.

Пов'язані напрямні шляхиПаралелізм моделі та конвеєра
Питання 1 з 8

Яку фундаментальну проблему вирішує паралелізм моделі та конвеєра?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Яку фундаментальну проблему вирішує паралелізм моделі та конвеєра?
    • Модель занадто велика, щоб поміститися в пам’ять одного GPU
    • Повільне завантаження даних з диска
    • Вибухові градієнти під час навчання
    • Замало прикладів навчання
  2. Як працює тензорний (внутрішньошаровий) паралелізм?
    • Він призначає цілі шари різним графічним процесорам
    • Він розділяє математику всередині шару, як множення матриці, між графічним процесором
    • Він дублює кожен шар на кожному GPU
    • Він виконує кожен шар двічі для резервування
  3. Що таке «бульбашка» в наївному паралелізмі конвеєрів?
    • Витік пам'яті, який з часом зростає
    • Копія стану оптимізатора
    • Час простою, коли графічні процесори нижнього рівня чекають етапів висхідного потоку, щоб виконати активацію
    • Сплеск значень градієнта
  4. Як паралельність трубопроводу зменшує бульбашку?
    • Використовуючи меншу швидкість навчання
    • Видаливши деякі шари з моделі
    • Зберігаючи активації на ЦП
    • Розбиваючи кожну партію на мікро-партії, які проходять через етапи в шаховому порядку
  5. Чому паралелізм тензорів зазвичай зберігається в межах одного вузла?
    • Оскільки його часте повне зменшення часткових результатів виграє від швидких внутрішньовузлових посилань, таких як NVLink
    • Бо це не потребує жодного спілкування
    • Оскільки вузли взагалі не можуть обмінюватися даними
    • Оскільки він підтримує лише один графічний процесор
  6. Який фреймворк найбільш відомий для паралелізму тензорів у навчанні трансформаторів?
    • scikit-Learn
    • NVIDIA Megatron-LM
    • OpenCV
    • панди
  7. What data must move between stages in pipeline parallelism during a forward pass?
    • The entire training dataset after each layer
    • Only the optimizer’s learning rate
    • Activation tensors produced by one stage and consumed by the next
    • No data, because stages are independent models
  8. Why does tensor parallelism often require fast communication within its group?
    • It assigns each GPU a separate dataset and never synchronizes
    • It communicates only once when the model is loaded
    • It uses no cross-device operations
    • Devices exchange partial results or activations within layers during computation