Nucleus- und Top-k-Sampling-Quiz

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

1. Wie schränkt Top-K-Sampling die Token-Auswahl ein?
   • Es behält nur die k Token mit der höchsten Wahrscheinlichkeit und führt dann Stichproben unter ihnen durch
   • Es behält Token, bis die kumulative Wahrscheinlichkeit k überschreitet
   • Es wird immer das wahrscheinlichste Token ausgewählt
   • Es werden nur die k unwahrscheinlichsten Token entfernt
2. Was definiert den „Kern“ bei der Kernprobenahme (Top-P)?
   • Die k häufigsten Wörter in Trainingsdaten
   • Die kleinste Menge von Token, deren Wahrscheinlichkeiten sich auf mindestens p summieren
   • Der einzelne Token mit der höchsten Wahrscheinlichkeit
   • Alle Token mit einer Wahrscheinlichkeit über 50 %
3. Was ist der Hauptvorteil von Top-P gegenüber Top-K?
   • Es ist immer schneller zu berechnen
   • Es wird niemals eine zufällige Ausgabe erzeugt
   • Die Anzahl der Kandidaten-Token passt sich der Vertrauenswürdigkeit des Modells an
   • Es ignoriert Token-Wahrscheinlichkeiten
4. Was bewirkt der Temperaturparameter vor der Probenahme?
   • Es legt die maximale Sequenzlänge fest
   • Es wählt die Sprache der Ausgabe aus
   • Es zählt die Vokabulargröße
   • Dadurch wird die Wahrscheinlichkeitsverteilung neu skaliert, sodass sie schärfer oder flacher wird
5. What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
   • It improved diversity without sacrificing fluency and coherence in the reported comparisons
   • It guaranteed factual correctness in every output
   • It eliminated all sampling randomness
   • It improved translation quality on every benchmark
6. For a greedy decoding baseline with no token sampling, how should generation be configured?
   • Disable sampling and use greedy decoding to select the highest-probability token at each step
   • Use high temperature and a large nucleus threshold
   • Randomize the temperature at every step
   • Keep sampling enabled but increase top-p
7. After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
   • They remain assigned their original total mass below one
   • They are replaced with equal probabilities
   • They are renormalized over the retained top-k tokens
   • They are converted into beam-search scores
8. What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
   • It always yields the most diverse human-like passages
   • Dadurch entfällt die Notwendigkeit eines Sprachmodells
   • It guarantees factual correctness
   • It can produce bland and repetitive text despite strong likelihood scores