Quiz na temat odchyleń logitowych

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co modyfikuje błąd logitowy?
   • Wynik (logit) określonych tokenów przed próbkowaniem
   • Modelka stale obciąża treningowo
   • Temperatura całego monitu
   • Liczba tokenów w oknie kontekstowym
2. Co w wielu interfejsach API osiąga wartość logitowa -100 na tokenie?
   • Zwiększa prawdopodobieństwo żetonu 100 razy
   • Skutecznie zabrania generowania tokena
   • Usuwa token ze słownika na zawsze
   • Podwaja prędkość modelu
3. What numeric range does the documented OpenAI Chat Completions logit_bias accept for a token?
   • From 0 to 1 only
   • From -1 to 1 only
   • From -100 to 100
   • Any string value
4. Odchylenie logitowe jest przypisane do jakiego identyfikatora?
   • Słowo w postaci zwykłego tekstu
   • Stanowisko zdanie
   • Nazwa modelu
   • Numeryczny identyfikator tokenu
5. Ponieważ logity są przepuszczane przez softmax, jaki jest efekt dodania dodatniego nastawienia?
   • Wykładniczo zwiększa względną wagę tokena przed normalizacją
   • Liniowo dodaje stałe prawdopodobieństwo
   • Nie ma to żadnego efektu do czasu treningu
   • Usuwa token z rozważań
6. Kluczową zaletą odchylenia logitowego w porównaniu z dostrajaniem jest to, że:
   • Trwale poprawia wiedzę modela
   • Nie wymaga przekwalifikowania i obowiązuje na żądanie
   • Zwiększa rozmiar okna kontekstowego
   • Działa tylko na obrazach
7. Why should a developer inspect the tokenizer before applying a bias to a visible word?
   • Token IDs are assigned only after sampling
   • Visible words always equal one token
   • The word may be represented by several token IDs, so biasing one ID may not cover all forms
   • The tokenizer controls the model’s training data
8. What is a practical risk of applying a strong positive bias to one token?
   • It increases the context window
   • It changes the model weights permanently
   • It guarantees the token appears exactly once
   • It can distort generation or produce repetitive, awkward text