とは何ですか BPE (バイトペアエンコーディング)?

テキストをモデル入力用のトークンに分割するプロセス。

画像またはスキャン内のテキストを機械可読テキストに変換するテクノロジー。

次の可能性が最も高い k 個のトークンのみからサンプリングするデコード戦略。

ネットワークを通じて予測誤差を逆方向に伝播することによってモデルの重みを更新するコア トレーニング アルゴリズム。

クエリとドキュメントを別々のベクトルにエンコードして、大規模な規模で迅速に比較できるようにするモデル。

より確率の高い出力を見つけるために、各ステップで上位のいくつかの候補シーケンスを保持するデコード アルゴリズム。