Quiz dotyczący wykorzystania narzędzi dla formatorów i samouków

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co wyróżnia podejście Toolformera do nauki korzystania z narzędzi?
   • Samonadzorowo generuje i filtruje własne przykłady szkoleń dotyczących wywołań narzędzi
   • Opiera się na tysiącach wywołań narzędzi opatrzonych etykietą człowieka
   • Wykorzystuje uczenie się przez wzmacnianie wyłącznie na podstawie informacji zwrotnych od ludzi
   • Ręcznie koduje na stałe każde wywołanie narzędzia
2. Jakiego kryterium używa Toolformer, aby zdecydować, czy utrzymać kandydujące wywołanie API?
   • Czy osoba oceniająca to zatwierdzi
   • Czy wynik sprawdzenia zmniejsza stratę modelu na kolejnych żetonach
   • Określa, czy wywołanie zwraca niepusty ciąg
   • Określa, czy połączenie trwa krócej niż jedną sekundę
3. Jakiego zestawu narzędzi nauczył się używać oryginalny Toolformer?
   • Generator obrazu, syntezator muzyki i renderer 3D
   • Tylko interpreter Pythona
   • Kalkulator, system kontroli jakości, wyszukiwarka, tłumacz i kalendarz
   • Tylko przeglądarka internetowa i system plików
4. W jaki sposób wywołania narzędzi są reprezentowane w tekście podczas procesu Toolformera?
   • Jako oddzielne kanały audio
   • Jako obrazy dołączone do dokumentu
   • Tylko jako wpisy w zewnętrznej bazie danych
   • Jako specjalne tokeny oznaczające wywołanie API i jego wynik inline
5. Jaka podstawowa słabość dużych modeli językowych motywowała Toolformera?
   • Są słabi w arytmetyce, bieżących faktach i precyzyjnym wyszukiwaniu
   • Nie potrafią generować płynnych zdań
   • Nie można ich doprecyzować
   • Działają tylko w języku angielskim
6. Co po wygenerowaniu i przefiltrowaniu przykładów wywołań narzędzi robi z nimi Toolformer?
   • Odrzuca je i zaczyna od nowa
   • Dostraja model na filtrowanym, samodzielnie wygenerowanym zestawie danych
   • Wysyła je do ludzkich adnotatorów w celu ponownego oznakowania
   • Przechowuje je wyłącznie w celu oceny
7. Why compare the next-token loss with and without an API result when filtering a candidate call?
   • To select the API with the longest response
   • To remove all calls that change the context
   • To retain calls whose result improves prediction of the following real text
   • To maximize the number of API calls per paragraph
8. Once useful tool-call examples are filtered, how does Toolformer incorporate them?
   • It discards them and trains only on human ratings
   • It changes the API results into class labels
   • It retrains each external API from scratch
   • It fine-tunes on the resulting self-generated examples