Викторина, связанная с руководством · Средний Уровень

Викторина «Трансформеры видения»

Изучите токены патчей и внимание ViT, ознакомьтесь с оригинальными результатами исследований, позиционной информацией, количеством патчей и вариантами состояний классификации.

Связанные направляющие путиВидение Трансформеры
Вопрос 1 из 8

How does the original plain ViT convert an image into input tokens for its encoder?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. How does the original plain ViT convert an image into input tokens for its encoder?
    • It must read one raw pixel per recurrent step
    • It linearly embeds flattened non-overlapping patches
    • It converts the whole image into a mandatory single scalar
    • It removes all learned input projections
  2. Which mechanism supports direct interactions between allowed patch tokens in the original dense ViT encoder?
    • Внимание к себе
    • Only a fixed local max-pooling operation
    • Only alphabetical ordering of patch labels
    • Only a random image crop
  3. Which architectural difference did the original ViT study discuss relative to convolutional networks?
    • A guarantee that it contains fewer parameters than every CNN
    • An inability to process color images
    • A guarantee that every vision task needs the same huge dataset
    • Fewer convolution-style locality and translation-equivariance biases
  4. Какова цель позиционного кодирования в Vision Transformer?
    • Сжатие размера файла изображения
    • Чтобы случайным образом перетасовать патчи для аугментации.
    • Чтобы сообщить модели, где находится каждый патч на исходном изображении.
    • Преобразование цветных изображений в оттенки серого
  5. Практическим недостатком самообслуживания во многих патчах изображений является рост его стоимости:
    • Квадратично по количеству патчей
    • Линейно с количеством патчей
    • Совсем не с размером изображения
    • Только с количеством цветовых каналов
  6. What conclusion is supported by the original ViT classification experiments under their stated pretraining and transfer conditions?
    • Every transformer must outperform every CNN on every dataset
    • A pure patch transformer could perform competitively with compared CNNs
    • All convolutional operations are invalid for image recognition
    • No training data is needed for image classification
  7. For a 224-by-224 image divided into non-overlapping 16-by-16 patches, how many patch tokens are there before adding a class token?
    • 197
    • 224
    • 196
    • 256
  8. In the original ViT classification design, which encoder state supplies the classification head?
    • Only an unembedded raw input pixel
    • A required random token not processed by the encoder
    • Only the first patch’s original filename
    • The final state of the learned class token