AI用語集の用語

とは何ですか HumanEval?

定義

単体テストを通じてコード生成の正確さを測定するために使用される Python プログラミング問題のベンチマーク。

関連用語

ベンチマーク
モデルのパフォーマンスを測定および比較するために使用される標準化されたテストまたはデータセット。
GSM8K
言語モデルにおける段階的な推論を評価するために使用される、小学校の算数の文章題のベンチマーク。
評価セット
トレーニング後にモデルの品質を測定するために使用される保持されたデータセット。
テスト時のコンピューティング
品質または推論を向上させるために応答生成中に使用される追加の推論計算。
Pass@k
生成された k 個のサンプルのうち少なくとも 1 つがテストに合格する可能性を測定するコード評価メトリクス。
AI ガバナンス
AI が社会でどのように開発および使用されるかをガイドするポリシー、標準、および監視メカニズム。

See also

MMLUFactualityLLM-as-JudgeCitationsBi-EncoderWatermarkingCross-EncoderMid-training
AI 用語集の全文を閲覧するすべての無料 AI ガイドを確認する