Тест за вграждане на ротационни позиции

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Как RoPE инжектира информация за позицията в трансформатор?
   • Чрез завъртане на двойки измерения в заявката и ключови вектори с ъгъл, зависим от позицията
   • Чрез добавяне на фиксиран вектор към входните вграждания
   • Чрез пренареждане на токените произволно
   • Чрез добавяне на номера на позицията като текст
2. След прилагане на RoPE, оценката за внимание между два токена зависи основно от:
   • Само техните абсолютни позиции
   • Относителното им разстояние (m минус n)
   • Размерът на речниковия запас
   • Размерът на партидата
3. Какво сравнение на ефективността на обучението отчете документът YaRN за разширяване на контекста?
   • Exactly the same data and steps as all prior methods
   • No fine-tuning or training data of any kind
   • About 10x fewer tokens and 2.5x fewer training steps than prior methods
   • A fixed 100x increase in output tokens
4. Защо различните двойки измерения се въртят на различни честоти в RoPE?
   • За да спестите памет, като пропуснете някои измерения
   • За рандомизиране на изходите на модела
   • Тъй като всички двойки трябва да използват един и същ ъгъл
   • За улавяне както на добър местен ред, така и на позиция на дълги разстояния
5. Каква е целта на техники като интерполация на позиция и YaRN за базирани на RoPE модели?
   • Extend the usable context length beyond the original training window using additional scaling/fine-tuning methods
   • Guarantee accurate recall at any sequence length with no evaluation
   • Remove position information from attention
   • Replace all token embeddings with absolute learned vectors
6. Стандартният RoPE изисква ли научени вектори на абсолютна позиция, за да инжектира позиция в представяне на заявка и ключ?
   • Yes; it adds one learned vector for every possible sequence position
   • No; it applies position-dependent rotations to paired query/key dimensions
   • It removes query and key vectors entirely
   • It only adds position to value vectors
7. What does standard RoPE alone guarantee about a model’s context length?
   • Unlimited accurate context at every position
   • A fixed context of exactly 128 tokens
   • It does not by itself guarantee reliable use beyond the trained context length
   • Removal of the attention mechanism
8. What extended context length did the Position Interpolation paper report for its LLaMA evaluations?
   • Exactly 1,000 tokens with no position changes
   • Unlimited context with no fine-tuning
   • Up to 2 million tokens for all models
   • Up to 32,768 tokens with minimal fine-tuning