Quiz dotyczący skalowania obliczeń w czasie testu

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Do czego odnosi się „obliczenie czasu testu”?
   • Obliczenia spędzone na szkoleniu modelu na danych
   • Czas potrzebny na pobranie modelu
   • Obliczenia wykonywane, gdy model odpowiada na zapytanie podczas wnioskowania
   • Energia elektryczna używana do chłodzenia centrów danych
2. In test-time scaling studies, what can extra inference compute be used for?
   • Changing the model’s training data during the request
   • Increasing the number of model parameters automatically
   • Guaranteeing correctness without evaluation
   • Searching or revising candidate solutions and checking their quality
3. Jaki jest główny kompromis w zakresie skalowania obliczeń w czasie testowania?
   • Większa dokładność w zamian za większe opóźnienia i koszty
   • Mniej pamięci, ale wolniejsze szkolenie
   • Więcej danych, ale mniejsze modele
   • Lepsza grafika w niższej rozdzielczości
4. Co to jest próbkowanie „najlepsze z N”?
   • Trening na N największych zbiorach danych
   • Wygenerowanie N odpowiedzi kandydatów i wybranie najlepszej
   • Używanie tylko pierwszych N słów podpowiedzi
   • Uruchamianie modelu na N różnych komputerach w celu zwiększenia szybkości
5. Dlaczego obliczenia w czasie testu są uważane za nową „oś skalowania”?
   • Zastępuje potrzebę jakiegokolwiek szkolenia
   • Działa tylko na małych modelach
   • Poprawia wydajność, dodając obliczenia wnioskowania, a nie tylko zwiększając rozmiar modelu
   • Zmniejsza liczbę użytkowników, których może obsługiwać model
6. Jaki zaskakujący wynik umożliwia obliczenie czasu testu?
   • Modele mogą działać bez żadnych procesorów graficznych
   • Dane treningowe stają się niepotrzebne
   • Modele zawsze odpowiadają szybciej
   • Mniejszy model myślący dłużej może konkurować ze znacznie większym modelem, który odpowiada natychmiast
7. What is one reason a fixed best-of-N strategy may waste inference compute?
   • It spends the same candidate budget on easy and difficult prompts
   • It modifies model weights on every query
   • It cannot generate multiple candidates
   • It eliminates the need for scoring
8. What did the test-time compute paper compare with best-of-N sampling?
   • A strategy that disables inference
   • A compute-optimal strategy that allocates effort based on expected solution quality
   • A larger tokenizer vocabulary
   • A method that changes image resolution