Вікторина, пов’язана з посібником · Середній Рівень

Вікторина «Дифузійні трансформатори».

Дізнайтеся про патч-токени DiT, кондиціонування, масштабування, відеопросторово-часові представлення та вартість уваги багатьох токенів.

Пов'язані напрямні шляхиДифузійні трансформатори
Питання 1 з 8

Який компонент замінює дифузійний трансформатор порівняно з традиційними дифузійними моделями?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Який компонент замінює дифузійний трансформатор порівняно з традиційними дифузійними моделями?
    • Згортковий дешуйзер U-Net
    • Кодувальник тексту
    • Декодер зображення
    • Графік шуму
  2. Як DiT перетворює зображення на щось, що може обробити Transformer?
    • Він перетворює пікселі безпосередньо на слова
    • Він розбиває приховане зображення на фрагменти, які розглядаються як токени
    • Він використовує один маркер для всього зображення
    • Спочатку він перетворює зображення на аудіо
  3. Що оригінальна стаття DiT знайшла про масштабування?
    • Продуктивність швидко зростає з розміром
    • Більші моделі завжди працюють гірше
    • Продуктивність передбачувано покращується зі збільшенням розміру моделі та зменшенням розміру виправлення
    • Розмір патча не впливає
  4. Як DiTs зазвичай вводять умови, такі як часовий крок і текстове підказка?
    • Додавши його як додаткові пікселі
    • Перенавчаючи модель на кожному кроці
    • За допомогою окремої згорткової гілки
    • Через нормалізацію адаптивного рівня (adaLN)
  5. Що досягає ініціалізація 'adaLN-zero'?
    • Завдяки цьому кожен блок Transformer запускається як ідентифікаційна функція для стабільного навчання
    • Він видаляє шари нормалізації
    • Він заморожує всю модель
    • Він обнулює вхідне зображення
  6. Яка відома система використовує магістраль Transformer замість просторово-часових патчів для створення відео?
    • Традиційний ГАН
    • OpenAI Sora
    • Рекурентна нейронна мережа
    • Модель дерева рішень
  7. Why can full self-attention become costly when a DiT processes many patches?
    • Its cost stays constant for any token count
    • It must retrain the U-Net at each denoising step
    • Its pairwise token comparisons grow quadratically with the number of tokens
    • It requires a separate language model for every patch
  8. After a DiT processes latent image patches with its Transformer blocks, what happens to the patch outputs?
    • As one text token for an entire video
    • As only a sequence of audio waveforms
    • As a separate convolutional U-Net for each frame
    • They are reassembled and decoded back into pixels