Тест за мащабиране на контекстен прозорец на YaRN

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Каква схема за кодиране на позиция променя YaRN, за да удължи дължината на контекста?
   • Вграждане на ротационна позиция (RoPE)
   • Абсолютни синусоидални вграждания
   • Научени таблици за позиционно търсене
   • ALiBi линейни отклонения
2. Как YaRN третира високочестотните спрямо нискочестотните размери на RoPE?
   • Той интерполира и двете еднакво
   • Той премахва изцяло високочестотните измерения
   • Той променя само високочестотните измерения
   • Той оставя високочестотните измерения предимно непокътнати и интерполира нискочестотните
3. Как трябва да се интерпретират докладваните от YaRN данни и ефективността на фина настройка?
   • Като доказателство, че нито един модел на YaRN не се нуждае от обучение
   • Като резултати за неговите оценени настройки за разширение на модела, а не фиксирана гаранция за всеки модел
   • Като универсално обещание, че всеки размер на набор от данни работи еднакво добре
   • Като премахване на необходимостта от графични процесори или изчисления с изводи
4. Освен пренастройване на честотите, каква допълнителна корекция прилага YaRN, за да поддържа вниманието на далечни разстояния стабилно?
   • Увеличение на отпадането
   • По-голям речников запас
   • Регулиране на температурата на вниманието (softmax мащабиране).
   • Градиентно изрязване
5. Какво мотивира оценяването на модел на RoPE, преди да се използва контекст, далеч надхвърлящ първоначалната продължителност на обучението?
   • Моделът задължително става идеално точен при по-големи дължини
   • Контекстното разширение автоматично намалява паметта до нула
   • По-големият прозорец доказва, че всеки пасаж е еднакво лесен за извличане
   • Поведението на позицията и вниманието може да се влоши извън условията, които е научило
6. Наивната линейна интерполация на позиция вреди на коя способност YaRN цели да запази?
   • Изящни локални връзки между близките жетони
   • Размерът на речника на модела
   • Скоростта на токенизатора
   • Броят на слоевете
7. Какво се случва в преходния регион между високо- и нискочестотното лечение на YaRN?
   • На всяко измерение се присвоява произволен речников токен
   • Всички преходни размери се изтриват от внимание
   • Схемата съчетава оригинално и интерполирано честотно третиране в съответните измерения
   • Едно идентично правило за мащабиране игнорира изцяло честотните разлики
8. Какво рекламираното по-дълго ограничение на контекста на YaRN на контролна точка не успява да установи само по себе си?
   • Дали позиционната схема изобщо може да приеме някакви координати
   • Надеждна производителност за всяка планирана задача и позиция в този прозорец
   • Изписването на името на модела
   • Изискване всяка заявка за извод да преквалифицира всички тегла