Позиционная интерполяция для викторины с длинным контекстом

Ответы и пояснения появляются по мере прохождения теста.

1. Какова основная идея позиционной интерполяции?
   • Втиснение новых индексов позиций в диапазон, на котором модель уже обучена.
   • Обучение совершенно новой модели с нуля для каждой длины.
   • Полное удаление позиционной информации
   • Сортировка токенов по важности
2. Почему наивная экстраполяция на более длинные позиции терпит неудачу?
   • Он использует слишком мало памяти
   • Это может привести к увеличению показателей внимания до чрезвычайно больших и нестабильных значений.
   • Он всегда возвращает один и тот же токен
   • Требуется другой токенизатор
3. Сколько примерно доработок потребовалось в исходной работе PI, чтобы расширить LLaMA до 32 КБ?
   • Никакой тонкой настройки вообще
   • Около 1 миллиона шагов
   • Около 1000 шагов
   • Полная предтренировочная пробежка
4. Если вы расширите контекст в s раз, как PI преобразует позицию m?
   • Он отображает m в m раз s
   • Он отображает m в m в квадрате
   • Это оставляет m неизменным
   • Он отображает m в m, разделенное на s
5. Как PI повлиял на более поздние методы, такие как YaRN?
   • Это стало основой для совершенствования методов, учитывающих частоту.
   • Он был заброшен и никогда не цитировался
   • Он заменил архитектуру Transformer.
   • Это применимо только к моделям изображений.
6. На какую кодировку позиции в первую очередь нацелена позиционная интерполяция?
   • Горячие кодировки
   • RoPE (вращающиеся позиционные вставки)
   • Word2Vec векторы
   • Мешок слов имеет значение
7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
   • 2
   • 8
   • 16
   • 32
8. With extension factor s = 16, where does PI map original position m = 16,000?
   • Position 16,000
   • Position 256,000
   • Position 32,000
   • Position 1,000