Quiz dotyczący testów porównawczych AI

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co to jest benchmark AI?
   • Zdefiniowany zestaw zadań, danych i reguł punktacji używany do porównywania systemów
   • Uniwersalna miara inteligencji
   • Gwarancja, że najlepiej oceniony model będzie najlepszy dla danej aplikacji
   • Lista parametrów modelu
2. Obydwa systemy zgłaszają „dokładność”. Co warto sprawdzić przed porównaniem?
   • Tylko nazwy modeli
   • Tylko liczba parametrów
   • Definicja zadania, przykłady, zasady punktacji i warunki testu
   • Tylko czy oba raporty używają tej samej nazwy danych
3. Po co rejestrować wersję modelu, monit, narzędzia, próby i datę oceny?
   • Zapis gwarantuje brak wycieku danych
   • Te ustawienia mogą zmienić wyniki testów porównawczych
   • Ustawienia nie wpływają na zachowanie modelu
   • Liczy się tylko data
4. Czym jest zanieczyszczenie zbioru danych podczas oceny?
   • Benchmark obejmuje wiele typów zadań
   • W modelu używany jest inny monit
   • Zbiór danych zawiera znaczniki czasu
   • Elementy testowe lub zbliżone warianty były dostępne w trakcie opracowywania
5. Test składający się ze 100 pytań pokazuje, że jeden model odpowiada poprawnie na 81, a inny na 83. O czym świadczy sama ta różnica?
   • Liczy się tylko to, co zaobserwowane, a nie niezawodna przewaga sama w sobie
   • Że ten drugi model jest uniwersalnie lepszy
   • Że pierwszy model nie może rozwiązać zadania
   • Że zestaw testowy został zanieczyszczony
6. Dlaczego średni wynik testu porównawczego może ukryć słabe strony?
   • Średnie zawsze ujawniają każdą porażkę
   • Pojedyncza metryka mierzy jednakowo wszystkie aplikacje
   • Wydajność może się różnić w zależności od zadań, warunków lub grup
   • Wyniki nie zależą od zestawu zadań
7. Co należy porównać z sukcesem zadania?
   • Tylko liczba parametrów
   • Koszt i opóźnienie
   • Tylko pozycja w tabeli liderów
   • Tylko ile razy cytowano wynik
8. Po co dodawać prywatny zestaw ewaluacyjny do aplikacji?
   • Gwarantuje wyższy wynik publiczny
   • Eliminuje to konieczność dokumentowania podpowiedzi
   • Zapobiega wszelkim błędom modelu
   • Testuje, czy wyniki publicznego testu porównawczego przekładają się na zamierzony przepływ pracy