Тест, свързан с ръководство · Среден Ниво

Тест за кръстосано внимание

Разберете как кръстосаното внимание позволява на една последователност или модалност да търси представяния от друга последователност или модалност в трансформаторни модели.

Свързани ръководни пътекиКръстосано внимание
Въпрос 1 на 8

Каква е ключовата разлика между самовниманието и кръстосаното внимание?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Каква е ключовата разлика между самовниманието и кръстосаното внимание?
    • При кръстосаното внимание заявките идват от една последователност, а ключовете/стойностите от друга
    • Кръстосаното внимание не използва softmax
    • Самовниманието работи само върху изображения
    • Кръстосаното внимание не може да се тренира с градиентно спускане
  2. В енкодер-декодер Transformer, откъде идват заявките за кръстосано внимание?
    • Изходите на енкодера
    • Текущото състояние на декодера
    • Само необработените входни вграждания
    • Отделна случайна матрица
  3. Защо двете последователности в кръстосаното внимание могат да имат различни дължини или модалности?
    • Тъй като вниманието изисква входове с еднаква дължина
    • Тъй като игнорира изцяло една от последователностите
    • Тъй като заявките и ключовете идват от различни, независими източници
    • Тъй като първо поставя всичко до фиксиран размер
  4. Как Stable Diffusion използва кръстосано внимание?
    • За компресиране на изображения в по-малки файлове
    • За превод на текст между езици
    • За да премахнете шума от аудиото
    • За да обусловите генерираните региони на изображение в текстовата подкана
  5. Каква математическа операция споделя кръстосаното внимание със самовниманието?
    • Мащабирано внимание на точковия продукт с softmax
    • Конволюция над пиксели
    • Повтарящи се актуализации на състоянието
    • Твърдо кодирани справочни таблици
  6. What gate does Flamingo use to control information flow through its cross-attention layers?
    • A hard threshold initialized to one
    • A tanh gate initialized to zero
    • A fixed residual weight of 0.5
    • A learned vocabulary lookup table
  7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
    • Only one image followed by a fixed-length label
    • Only text tokens with no visual inputs
    • Visual and textual data interleaved in arbitrary sequences
    • Only video frames with no text
  8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
    • It replaces all text tokens with pixels
    • It prevents any information from passing between modalities
    • It performs only image resizing
    • It lets language-model layers incorporate visual features from image/video inputs