Викторина по долгоконтекстному моделированию

Ответы и пояснения появляются по мере прохождения теста.

1. Что означает «контекстное окно» модели?
   • Максимальное количество токенов, которые он может обработать за один проход.
   • Размер экрана интерфейса чата
   • Количество пользователей, разрешенных одновременно
   • Как долго модель обучалась
2. Почему стандартное внимание к себе становится дорогим при длительном вводе данных?
   • Он растет линейно и всегда дешев.
   • Его вычислительные мощности и память растут квадратично с длиной последовательности.
   • Он не может прочитать более одного токена
   • Работает только с изображениями
3. В чем заключается проблема «потерянного посередине»?
   • Модели полностью забывают о тренировках
   • Модели могут читать только середину документа.
   • Модели лучше запоминают информацию в начале и конце длинного ввода, чем факты, спрятанные в середине.
   • Модели переводят середину на другой язык
4. Что в первую очередь улучшает FlashAttention?
   • Это делает вывод модели более длинным текстом.
   • Он автоматически добавляет больше данных обучения
   • Это устраняет необходимость во внимании
   • Это уменьшает узкое место в памяти за счет мозаичных вычислений с учетом операций ввода-вывода.
5. Какую роль встраивания вращающихся позиций (RoPE) играют в моделях с длинным контекстом?
   • Они кодируют позиции токенов и с помощью интерполяции помогают обобщать более длинные последовательности.
   • Они удаляют токены из ввода
   • Они переводят текст между языками
   • Они хранят вес модели.
6. What does prompt-cache research reuse across compatible requests?
   • The final answer regardless of the new query
   • Computed attention state for reusable prompt segments
   • A fixed set of token IDs without model computation
   • The model’s training data
7. What does the RULER benchmark add beyond locating one isolated “needle” fact?
   • Только классификация изображений
   • Audio transcription from waveforms
   • Tasks such as multi-hop tracing and aggregation over long contexts
   • GPU memory allocation benchmarks
8. Why test several task types when measuring a model’s effective context length?
   • Every task uses the same computation
   • The advertised window guarantees all tasks work
   • Task type never affects context use
   • A model may handle simple retrieval yet fail to combine or track information across a long input