Викторина, связанная с руководством · Средний Уровень

Викторина «Диффузионные трансформаторы»

Изучите токены патчей DiT, условия, масштабирование, представления видеопространства и времени, а также стоимость внимания многих токенов.

Связанные направляющие путиДиффузионные трансформаторы
Вопрос 1 из 8

Какой компонент заменяет диффузионный трансформатор по сравнению с традиционными диффузионными моделями?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какой компонент заменяет диффузионный трансформатор по сравнению с традиционными диффузионными моделями?
    • Сверточный шумоподавитель U-Net
    • Кодировщик текста
    • Декодер изображений
    • График шума
  2. Как DiT превращает изображение в нечто, что может обработать Трансформер?
    • Он преобразует пиксели непосредственно в слова
    • Он разбивает скрытое изображение на участки, рассматриваемые как токены.
    • Он использует один токен для всего изображения.
    • Сначала он преобразует изображение в аудио.
  3. Что было найдено в оригинальной статье DiT о масштабировании?
    • Производительность быстро снижается с увеличением размера
    • Большие модели всегда работают хуже
    • Производительность предсказуемо улучшается по мере увеличения размера модели и уменьшения размера патча.
    • Размер патча не имеет значения
  4. Как DiT обычно вводят условия, такие как временной шаг и текстовая подсказка?
    • Добавляя его как дополнительные пиксели
    • Путем переобучения модели на каждом этапе
    • Через отдельную сверточную ветвь
    • Через адаптивную нормализацию уровня (adaLN)
  5. Что дает инициализация «adaLN-zero»?
    • Благодаря этому каждый блок Transformer запускается как функция идентификации для стабильного обучения.
    • Удаляет слои нормализации
    • Он замораживает всю модель
    • Он обнуляет входное изображение
  6. Какая известная система использует магистраль Transformer поверх пространственно-временных патчей для генерации видео?
    • Традиционный ГАН
    • OpenAI Sora
    • Рекуррентная нейронная сеть
    • Модель дерева решений
  7. Why can full self-attention become costly when a DiT processes many patches?
    • Its cost stays constant for any token count
    • It must retrain the U-Net at each denoising step
    • Its pairwise token comparisons grow quadratically with the number of tokens
    • It requires a separate language model for every patch
  8. After a DiT processes latent image patches with its Transformer blocks, what happens to the patch outputs?
    • As one text token for an entire video
    • As only a sequence of audio waveforms
    • As a separate convolutional U-Net for each frame
    • They are reassembled and decoded back into pixels