AI Ordliste Term

Hva er HumanEval?

Definisjon

En benchmark av Python-programmeringsproblemer som brukes til å måle kodegenereringskorrekthet via enhetstester.

Relaterte vilkår

Benchmark
En standardisert test eller datasett som brukes til å måle og sammenligne modellytelse.
GSM8K
En målestokk for matematikkordproblemer på grunnskolen som brukes til å evaluere trinnvise resonnementer i språkmodeller.
Evalueringssett
Et holdt ut datasett som brukes til å måle modellkvalitet etter trening.
Test-Time Compute
Ytterligere slutningsberegning brukt under generering av respons for å forbedre kvalitet eller resonnement.
Pass@k
En kodeevalueringsmetrikk som måler sjansen for at minst én av k genererte sampler består testene.
AI-styring
Retningslinjer, standarder og tilsynsmekanismer som styrer hvordan AI utvikles og brukes i samfunnet.

Se også

MMLUFactualityLLM-as-JudgeCitationsBi-EncoderWatermarkingCross-EncoderMid-training
Bla gjennom hele AI-ordlistenUtforsk alle gratis AI-guider