Quiz dotyczący dekodowania kontrastowego

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaką rolę w dekodowaniu kontrastowym odgrywa mały model „amatorski”?
   • Jego prawdopodobieństwa logarytmiczne są odejmowane, aby wyeliminować wspólne tryby awarii
   • Generuje bezpośrednio końcowy tekst wyjściowy
   • Jest dostrajany na błędach eksperta
   • Zastępuje eksperta, gdy jest on niepewny
2. Dlaczego odejmowanie prawdopodobieństw amatorskich zmniejsza liczbę powtórzeń i nijakie wyniki?
   • Amatora uczy się, aby nigdy nie powtarzał słów
   • Obydwa modele preferują tokeny ogólne i powtarzalne, więc kontrast je anuluje
   • Amator usuwa zduplikowane tokeny po wygenerowaniu
   • Powtórzenie nie jest możliwe, gdy głosują dwa modele
3. What does the adaptive plausibility constraint do in contrastive decoding?
   • It guarantees every remaining continuation is coherent and true
   • It replaces the expert distribution with the amateur distribution
   • It filters out candidates whose expert probability is too low relative to the expert’s top token
   • It forces every token to have equal probability
4. Jaka jest mniej więcej formuła punktacji w dekodowaniu kontrastowym?
   • log p_amator minus log p_ekspert
   • p_ekspert razy p_amator
   • Średnia z dwóch prawdopodobieństw
   • log p_ekspert minus współczynnik razy log p_amator
5. Kluczową praktyczną zaletą dekodowania kontrastowego jest to, że:
   • Działa w czasie wnioskowania bez dodatkowego szkolenia
   • Wymaga wspólnego przeszkolenia obu modeli
   • Działa tylko w przypadku zadań klasyfikacyjnych
   • Eliminuje potrzebę stosowania dużego modelu
6. Która z późniejszych metod rozszerza koncepcję kontrastu na własne warstwy pojedynczego modelu?
   • Wyszukiwanie wiązki
   • DoLa, która kontrastuje wczesne i późne warstwy
   • Chciwe dekodowanie
   • Skalowanie temperatury
7. The expert assigns probability 0.4 to its top token and the plausibility threshold is 0.1 of that value. What is the minimum probability for a candidate to remain eligible?
   • 0,4
   • 0,1
   • 0.04
   • 0.004
8. Why can contrastive decoding require more inference work than using the expert model alone?
   • It must retrain both models for every prompt
   • It replaces the vocabulary with image patches
   • It runs only the amateur model
   • It scores candidates with both an expert and an amateur model at inference time