Quiz połączony z przewodnikiem · Ciężko Poziom

Typowy quiz dotyczący pobierania próbek

Sprawdza typowe zaskoczenie, ranking oparty na entropii, próg masy typowy_p i różnice w stosunku do próbkowania z góry p z rankingiem prawdopodobieństwa.

Powiązane ścieżki prowadząceTypowe próbkowanie
Pytanie 1 z 8

Z jaką ilością rdzenia porównuje się typowe próbkowanie każdego tokenu kandydującego?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Z jaką ilością rdzenia porównuje się typowe próbkowanie każdego tokenu kandydującego?
    • Oczekiwana zawartość informacyjna (entropia) rozkładu
    • Ogólny rozmiar słownictwa modelu
    • Pozycja tokena w zdaniu
    • Sam parametr temperatury
  2. W jaki sposób typowe próbkowanie traktuje pojedynczy najbardziej prawdopodobny token?
    • Zawsze wybiera go jako pierwszy
    • Może go wykluczyć, jeśli jego zaskoczenie będzie znacznie poniżej wartości oczekiwanej
    • Podwaja to prawdopodobieństwo
    • Całkowicie ignoruje prawdopodobieństwo
  3. Jaki pogląd na temat ludzkiego języka motywował typowe pobieranie próbek?
    • Ludzie zawsze wybierają najrzadsze możliwe słowa
    • Ludzie nigdy nie powtarzają słów
    • Ludzie przekazują mniej więcej stałą ilość informacji
    • Ludzie mówią zdaniami o określonej długości
  4. Jakie znaczenie ma parametr tau w typowej kontroli próbkowania?
    • Szybkość uczenia się podczas szkolenia
    • Liczba warstw w modelu
    • Maksymalna długość zdania
    • Skumulowana masa prawdopodobieństwa zebrana w typowym zbiorze
  5. Compared with greedy decoding, what does typical sampling try to change?
    • It samples from tokens whose surprisal is closer to the distribution’s expected surprisal
    • It always selects the most probable token
    • It guarantees every continuation is factually correct
    • It removes probability scores from decoding
  6. W przypadku jakiego rodzaju oprogramowania typowe próbkowanie jest powszechnie udostępniane programistom?
    • Aplikacje arkuszy kalkulacyjnych
    • Biblioteki wnioskowania LLM typu open source, takie jak Hugging Face Transformers
    • Narzędzia do edycji obrazu
    • Silniki zapytań do baz danych
  7. How does typical sampling rank candidate tokens differently from top-p sampling?
    • By alphabetical order of token strings
    • By token position in the prompt
    • By distance between token surprisal and expected surprisal, rather than probability rank alone
    • By the model’s training loss
  8. Which value does typical_p control?
    • The model’s vocabulary size
    • The number of transformer layers
    • The probability that the answer is factually correct
    • The target cumulative probability mass collected in the typical set