Викторина по моделям «последовательность к последовательности»

Ответы и пояснения появляются по мере прохождения теста.

1. Каковы два основных компонента модели «последовательность-последовательность»?
   • Кодер и декодер
   • Токенизатор и классификатор
   • Два одинаковых энкодера
   • Фильтр и ранкер
2. Какую ключевую проблему решал механизм внимания в моделях seq2seq?
   • Медленная токенизация
   • Узкое место вектора фиксированной длины для длинных входных данных
   • Недостаток словарного запаса
   • Чрезмерные тренировочные данные
3. Какую архитектуру использовала исходная модель перевода seq2seq 2014 года?
   • Сверточные сети
   • Деревья решений
   • Сложенные LSTM
   • Голые слои прямой связи
4. Как внимание создает контекст для каждого шага декодирования?
   • Усредняя все входные токены одинаково
   • Полностью игнорируя кодировщик
   • Копируя последний входной токен
   • По взвешенной сумме состояний кодера с использованием показателей выравнивания.
5. Почему выходные данные seq2seq могут отличаться по длине от входных?
   • Декодер генерирует токены до тех пор, пока не выдаст сигнал остановки.
   • Входы и выходы всегда имеют одинаковую длину.
   • Энкодер все дополняет
   • Длина фиксируется заранее
6. Какие современные модели являются популярными архитектурами seq2seq на базе Transformer?
   • Реснет и ВГГ
   • Т5 и БАРТ
   • K-средства и PCA
   • Word2Vec и GloVe
7. In encoder-decoder attention, which representations are commonly used as keys and values?
   • Only the decoder’s future hidden states
   • The vocabulary file’s byte offsets
   • The encoder’s output representations
   • The optimizer’s learning-rate history
8. What does a bidirectional encoder provide to an attention-based decoder?
   • A fixed one-token output regardless of the input
   • A guarantee that output length equals input length
   • A causal mask over future target tokens
   • Contextual representations of source tokens that can use information from both directions