Quiz dotyczący próbkowania opartego na entropii

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co mierzy entropię następnego tokena w dekoderze obsługującym entropię?
   • Jak rozkłada się prawdopodobieństwo na możliwe kolejne żetony modelu
   • Czy faktyczne twierdzenia modelki są prawdziwe
   • Liczba parametrów w modelu
   • Łączna liczba już wygenerowanych tokenów
2. Rozkład następnego tokena o niskiej entropii najbardziej bezpośrednio wskazuje, że:
   • Przewidywana odpowiedź jest zgodna z faktami
   • Prawdopodobieństwo koncentruje się na małym zestawie żetonów
   • Modelka nie ma niepewności co do całej rozmowy
   • Każdy symbol w słowniku jest równie prawdopodobny
3. Entropię Shannona rozkładu następnego tokena oblicza się jako:
   • Suma logitów
   • Maksymalne prawdopodobieństwo minus minimum
   • -sum p_i log p_i na tokenach
   • Liczba tokenów w słowniku
4. Co mierzy varentropia w niektórych schematach dekodowania uwzględniających entropię?
   • Wariancja liczby parametrów modelu
   • Zgodność merytoryczna następnego zdania
   • Liczba epok szkoleniowych
   • Różnice w wartościach zaskoczenia na poziomie tokena w ramach dystrybucji
5. Kiedy system świadomy entropii widzi rozkład następnego tokena o wysokiej entropii, jakie rozsądne wnioski może wyciągnąć?
   • Dystrybucja jest bardziej rozproszona i może wymagać polityki dekodowania specyficznej dla zadania
   • Modelka z pewnością ma halucynacje
   • Token o najwyższym prawdopodobieństwie jest fałszywy
   • Wyjście musi zostać natychmiast zatrzymane
6. Jaki jest praktyczny limit wykorzystania entropii do kierowania generowaniem?
   • Entropii nie można obliczyć na podstawie prawdopodobieństwa
   • Wybrana polityka entropii sama w sobie nie gwarantuje mniejszej liczby błędów merytorycznych
   • Entropia eliminuje potrzebę stosowania wag modeli
   • Entropia wymusza, aby wszystkie żetony miały jednakowe prawdopodobieństwo
7. Odpowiedź modelu o niskiej entropii zgadza się z fałszywym twierdzeniem użytkownika. Co określa wartość entropii?
   • Że roszczenie zostało niezależnie zweryfikowane
   • Że każdy inny kandydat jest niemożliwy
   • Tylko, że rozkład następnego tokenu modelu jest skoncentrowany, a nie, że twierdzenie jest prawdziwe
   • Aby odpowiedź pochodziła z wiarygodnego źródła
8. W jaki sposób zespół powinien wybrać progi dla polityki wyszukiwania wyzwalanego entropią?
   • Załóżmy, że jeden próg działa dla wszystkich modeli i kontekstów
   • Wybierz próg z nazwy modelu
   • Traktuj każdy token o wysokiej entropii jako udowodniony błąd
   • Oceń politykę dotyczącą zadań reprezentatywnych i zmierz, czy odzyskiwanie poprawia wyniki