Gids-gekoppelde quiz · Moeilijk Niveau

AI-benchmarksquiz

Bekijk hoe benchmarktaken, gegevens, instellingen, onzekerheid, vervuiling en applicatiespecifieke tests bepalen wat een AI-score u kan vertellen.

Gerelateerde gidspadenAI-benchmarks
Vraag 1 van 8

Wat is een AI-benchmark?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is een AI-benchmark?
    • A defined set of tasks, data, and scoring rules used to compare systems
    • A universal measure of intelligence
    • A guarantee the highest-scoring model is best for an application
    • A list of model parameters
  2. Twee systemen rapporteren beide ‘nauwkeurigheid’. Wat moet worden gecontroleerd voordat ze worden vergeleken?
    • Only model names
    • Only the number of parameters
    • Task definition, examples, scoring rules, and test conditions
    • Only whether the two reports use the same metric name
  3. Waarom modelversie, prompt, tools, pogingen en evaluatiedatum vastleggen?
    • A record guarantees no data leakage
    • Those settings can change benchmark results
    • Settings do not affect model behavior
    • Only the date matters
  4. Wat is datasetcontaminatie in een evaluatie?
    • The benchmark includes multiple task types
    • A model uses a different prompt
    • A dataset contains timestamps
    • Test items or close variants were available during development
  5. Uit een test met 100 vragen blijkt dat het ene model 81 correct beantwoordt en het andere model 83. Wat bewijst dat verschil alleen al?
    • Only the observed counts, not a reliable advantage by itself
    • That the second model is universally better
    • That the first model cannot solve the task
    • That the test set was contaminated
  6. Why can an average benchmark score hide weaknesses?
    • Averages always reveal every failure
    • A single metric measures all applications equally
    • Performance may differ across tasks, conditions, or groups
    • Scores do not depend on the task mix
  7. What should be compared alongside task success?
    • Only parameter count
    • Cost and latency
    • Only leaderboard position
    • Only how many times the result was cited
  8. Why add a private evaluation set for an application?
    • It guarantees a higher public score
    • It eliminates the need to document prompts
    • It prevents all model errors
    • It tests whether public-benchmark results transfer to the intended workflow