Викторина по конформной архитектуре

Ответы и пояснения появляются по мере прохождения теста.

1. Какие два механизма архитектура Conformer объединяет в одном блоке?
   • Свертка и внимание к себе
   • Повторение и объединение
   • Деревья решений и кластеризация
   • Поиск луча и токенизация
2. Почему сочетание свертки и внимания особенно полезно для речи?
   • Внимание обрабатывает детали локальных фонем, а свертка обрабатывает глобальный контекст.
   • Свертка фиксирует локальные закономерности, а самовнимание фиксирует долгосрочный контекст.
   • Оба имеют значение только для изображений, а не для звука.
   • Ни то, ни другое не помогает; это чисто для скорости
3. Что такое «макарон» или сэндвич-структура блока конформера?
   • Два слоя внимания вокруг одной свертки
   • Только один слой прямой связи
   • Внимание и свертка, заключенные между двумя полушаговыми модулями прямой связи
   • Свертка, наложенная поверх свертки
4. Какая организация представила Конформер и в каком году?
   • OpenAI в 2018 году
   • Meta в 2015 году
   • Microsoft в 2012 г.
   • Google в 2020 году
5. Что обычно включает в себя модуль свертки внутри Conformer?
   • Точечное преобразование, GLU, глубинное преобразование, нормализация и активация Swish.
   • Только один полностью связный слой
   • Рекуррентная ячейка LSTM
   • Случайный классификатор леса
6. On LibriSpeech test-clean/test-other, what WER did the original Conformer paper report with an external language model?
   • 2.1% / 4.3%
   • 1.9% / 3.9%
   • 9.1% / 9.3%
   • 0.1% / 0.3%
7. What positional information does the Conformer paper add to attention?
   • A geographic GPS coordinate for every speech frame
   • A fixed class label for each utterance
   • Relative positional encoding
   • A separate video frame index
8. What word error rates did the Conformer paper report without an external language model on LibriSpeech test/test-other?
   • 20.1% / 40.3%
   • 0.1% / 0.3%
   • 12.1% / 14.3%
   • 2.1% / 4.3%