とは何ですか Pass@k?

モデルが真の次のトークンにどれだけ驚いたかを測定する言語モデルのメトリクス。

高精度の関連性判断のために、クエリとドキュメントを 1 つのパスで一緒にスコアリングするモデル。

単体テストを通じてコード生成の正確さを測定するために使用される Python プログラミング問題のベンチマーク。

あるソフトウェア システムが別のシステムにリクエストを送信し、別のシステムからの応答を受信するための構造化された方法。

モデルが入力を 1 つ以上の事前定義されたカテゴリに割り当てるタスク。

あるドメインでトレーニングされたモデルを別のドメインでより適切に実行できるように転送するメソッド。