Kvíz spojený s průvodcem · Střední úroveň
Kvíz o penalizaci za opakování a dekódování
Porovnejte teplotní, top-k, top-p a penalizace za opakování, včetně toho, jak se logits mění před vzorkováním v pracovních postupech generování LLM.
Otázka 1 z 8
Co udělá zvýšení parametru 'teplota' s výstupem modelu?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co udělá zvýšení parametru 'teplota' s výstupem modelu?
- Dělá to náhodnější a rozmanitější
- Dělá to determinističtější a soustředěnější
- Trvale mění hmotnosti modelu
- Urychluje generování
- Jak se top-p (jaderné) vzorkování rozhoduje, které tokeny vzít v úvahu?
- Udržuje pevný počet tokenů bez ohledu na pravděpodobnost
- Udržuje nejmenší sadu tokenů, jejichž pravděpodobnosti součet prahové hodnoty
- Uchovává pouze jeden nejpravděpodobnější token
- Udržuje tokeny s pravděpodobností nad 50 %
- V jaké fázi se trest za opakování obvykle uplatňuje?
- Na surovém textu po generaci
- Na tréninkových datech
- Na logitech před softmaxem
- O slovní zásobě tokenizeru
- In OpenAI’s text-generation API, how do presence and frequency penalties differ?
- Stupnice trestů za přítomnost s počtem žetonů; frekvenční trest je plochý
- Jsou totožné
- Obojí platí pouze pro první token
- Frequency penalty scales with how often a token appeared; presence penalty applies once if it appeared at all
- For code completion where deterministic sampling is desired, which setting best matches the guide?
- Teplota blízko nule
- Velmi vysoká teplota
- Vysoký trest za opakování nad 2,0
- Top-p 1,0 s vysokou teplotou
- Co dělá top-k vzorkování?
- Udržuje součet tokenů na pravděpodobnost k
- Jako kandidáty ponechá pouze k nejpravděpodobnějších tokenů
- Vynásobí všechny logity k
- Odebere z tréninku nejméně pravděpodobné žetony
- With a repetition penalty above 1, how does a standard logits processor adjust a previously seen token?
- It sets every repeated-token logit to zero
- It adds the penalty to every token equally
- It divides a positive logit by the penalty and multiplies a negative logit by it
- It removes the token from the vocabulary permanently
- How does top-k differ from top-p sampling?
- Top-k uses cumulative probability while top-p fixes a count
- Top-k changes model weights while top-p changes the tokenizer
- They are both deterministic decoding methods
- Top-k keeps a fixed number of candidates; top-p keeps a probability-mass-based set