Dlaczego LLM mają trudności z liczeniem liter – quiz

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki jest główny powód, dla którego modele językowe błędnie liczą litery w słowie?
   • Mają zbyt mało danych szkoleniowych na temat języka angielskiego
   • Przetwarzają tekst jako tokeny, fragmenty znaków, a nie pojedyncze litery
   • Celowo zaokrąglają liczby, aby zaoszczędzić obliczenia
   • Nie mogą przechowywać liczb większych niż dziesięć
2. Co tokenizer generuje z fragmentu tekstu?
   • Lista identyfikatorów całkowitych, z których każdy oznacza fragment tekstu
   • Podsumowanie znaczenia tekstu
   • Tłumaczenie na język uniwersalny
   • Obraz tekstu do odczytania przez model
3. Która zmiana podpowiedzi najbardziej pomaga modelowi w prawidłowym liczeniu liter?
   • Zadaj pytanie wielkimi literami
   • Ważne jest, aby powiedzieć modelowi odpowiedź
   • Poproś go, aby przed zliczeniem przeliterował słowo z separatorami
   • Prośba o jak najszybszą odpowiedź
4. W jaki sposób kodowanie par bajtów buduje swoje słownictwo?
   • Przypisanie jednego tokena do każdego słowa słownikowego
   • Wielokrotne łączenie najczęściej sąsiadujących par symboli w nowe tokeny
   • Dzielenie tekstu tylko po spacjach i znakach interpunkcyjnych
   • Losowe grupowanie znaków w kawałki o stałej długości
5. Dlaczego modelka może inaczej traktować „Truskawkę” i „Truskawkę”?
   • Model całkowicie ignoruje wielkie litery
   • Tylko jeden z nich znajduje się w danych treningowych
   • Wielkie litery i spacje początkowe mogą zmienić sposób podziału tekstu na tokeny
   • Modele traktują pierwsze słowo zdania jako polecenie
6. Według przewodnika, jakie jest powszechne błędne przekonanie na temat błędów w liczeniu liter?
   • Że tokenizatory w ogóle istnieją
   • Że dowodzą, że modele nie mogą w ogóle rozumować, gdy ograniczeniem jest głównie format wejściowy
   • Że różne modele używają różnych tokenizerów
   • Ten kod może dokładnie liczyć litery
7. Jakie podejście jest najbardziej niezawodne w przypadku gry słownej, która za każdym razem wymaga dokładnego liczenia liter?
   • Zapytaj modela trzy razy i wybierz najczęstszą odpowiedź
   • Użyj większego modelu
   • Oblicz liczby za pomocą zwykłego kodu i użyj modelu dla innych części
   • Poproś modela, aby dokładnie sprawdził swoją odpowiedź
8. Dlaczego nowsze modele rozumowania często dobrze radzą sobie z pytaniem o truskawki?
   • Dostali listę wszystkich liter
   • Mają tendencję do przeliterowania słowa krok po kroku przed udzieleniem odpowiedzi
   • W ogóle nie używają tokenizera
   • Odmawiają odpowiedzi na pytania związane z liczeniem