Вікторина з моделювання тривалого контексту

Відповіді та пояснення з’являються під час виконання тесту.

1. Що означає «контекстне вікно» моделі?
   • Максимальна кількість жетонів, яку він може обслуговувати за один прохід
   • Розмір екрана інтерфейсу чату
   • Дозволена кількість користувачів одночасно
   • Скільки часу тренувалась модель
2. Чому стандартна самоувага стає дорогою для довгих входів?
   • Він росте лінійно і завжди дешевий
   • Його обчислення та пам’ять зростають квадратично з довжиною послідовності
   • Він не може читати більше одного токена
   • Він працює лише на зображеннях
3. Що таке проблема «загубленого посередині»?
   • Моделі зовсім забувають про навчання
   • Моделі можуть читати лише середину документа
   • Моделі запам’ятовують інформацію на початку та в кінці довгого введення краще, ніж факти, заховані в середині
   • Моделі перекладають середину іншою мовою
4. Що в першу чергу покращує FlashAttention?
   • Завдяки цьому модель виводить довший текст
   • Він автоматично додає більше тренувальних даних
   • Це знімає потребу в будь-якій увазі
   • Це зменшує вузьке місце в пам’яті за допомогою мозаїчного обчислення з урахуванням вводу-виводу
5. Яку роль відіграють вбудовані поворотні позиції (RoPE) у довгоконтекстних моделях?
   • Вони кодують позиції маркерів і за допомогою інтерполяції допомагають узагальнити до більш довгих послідовностей
   • Вони видаляють маркери з вхідних даних
   • Вони перекладають текст між мовами
   • Вони зберігають ваги моделі
6. What does prompt-cache research reuse across compatible requests?
   • The final answer regardless of the new query
   • Computed attention state for reusable prompt segments
   • A fixed set of token IDs without model computation
   • The model’s training data
7. What does the RULER benchmark add beyond locating one isolated “needle” fact?
   • Тільки класифікація зображень
   • Audio transcription from waveforms
   • Tasks such as multi-hop tracing and aggregation over long contexts
   • GPU memory allocation benchmarks
8. Why test several task types when measuring a model’s effective context length?
   • Every task uses the same computation
   • The advertised window guarantees all tasks work
   • Task type never affects context use
   • A model may handle simple retrieval yet fail to combine or track information across a long input