Quiz połączony z przewodnikiem · Średni Poziom
Tworzenie quizu dotyczącego zestawu danych LLM
Testy pozyskują prawdziwe przypadki, złote odpowiedzi w porównaniu z rubrykami, pokrycie przypadków brzegowych i dobieranie rozmiaru zbioru ewaluacyjnego, aby różnice w wynikach były znaczące.
Pytanie 1 z 8
Co przewodnik zaleca jako najlepsze źródło początkowe dla przypadków eval?
Podgląd każdego pytania8 pytania
Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.
- Co przewodnik zaleca jako najlepsze źródło początkowe dla przypadków eval?
- Tylko pytania syntetyczne generowane przez LLM
- Publiczne rankingi benchmarków
- Losowy tekst ściągnięty z internetu
- Rzeczywiste wykorzystanie, takie jak dzienniki, zgłoszenia do pomocy technicznej i zapytania wyszukiwania
- Kiedy rubryka jest bardziej odpowiednia niż pojedyncza złota odpowiedź?
- Dla zadania klasyfikacji ze stałymi etykietami
- Do zadań otwartych, w których może być poprawnych wiele różnych sformułowań
- Aby uzyskać dokładny numer faktury
- Rubryka nigdy nie jest bardziej odpowiednia
- Które z nich jest dobrze napisanym kryterium rubryk?
- Jest pomocny
- Brzmi naturalnie
- Wspomina o terminie zwrotu
- Jest wysokiej jakości
- Co przewodnik mówi o marginesie błędu, przy 100 przypadkach pozytywnego/nieudanego testu i wskaźniku pozytywnego wyniku wynoszącym blisko 80 procent?
- Jest to mniej więcej plus minus 8 punktów procentowych, więc dwupunktowa poprawa wygląda jak hałas
- Jest to około plus minus 0,1 punktu procentowego
- To jest dokładnie zero
- To około plus minus 50 punktów procentowych
- Jaki jest cel wycinka regresji?
- Aby automatycznie usuwać nieaktualne sprawy
- Aby przyspieszyć reakcję modelu
- Aby zachować w zestawie wcześniejsze awarie, aby poprawki pozostały testowane
- Wytrenowanie modelu na jego własnych błędach
- Co powinieneś zrobić, zanim zaufasz sędziemu LLM w kwestii oceny pozycji rubrykowych?
- Podnieś temperaturę sędziemu
- Usuń rubrykę, aby sędzia mógł swobodnie podjąć decyzję
- Przetestuj sędziego na pojedynczej sprawie
- Niech ludzie oznaczą próbkę i zmierzą, jak często sędzia się z nimi zgadza
- Po co przechowywać przetrzymywaną część zbioru danych, której nie można dostroić?
- Aby uniknąć nadmiernego dopasowania podpowiedzi do zestawu testowego
- Aby zaoszczędzić miejsce do przechowywania
- Bo wymagają tego przepisy
- Aby zmniejszyć opóźnienia
- Dlaczego porównania w parach tych samych przypadków są przydatne przy porównywaniu dwóch wersji?
- Eliminują potrzebę jakiejkolwiek równiarki
- Zwykle potrzebują mniej przykładów niż porównywanie niezależnych próbek
- Usuwają wszelki niedeterminizm z wyników modelu
- Gwarantują doskonały wynik