概要
ニューラル システムは多くの場合、これをシーケンス間のタスクとして扱います。つまり、1 つのシーケンスを読み取り、別のシーケンスを生成します。このようなシステムを構築して評価するには、データの配置と言語固有のエラーに注意する必要があります。
主なポイント
- 整列されたデータとドキュメントレベルの分割を確認します。
- 評価構成を記録します。
- 意味を変えるエラーを言語ペアごとに検査します。
ディープダイブ
並列トレーニング データは、原文の一節と対応する翻訳を組み合わせます。不適切な配置、重複した資料、または不一致の言語ラベルにより、誤った関係が教えられる可能性があります。評価データを分割するときは、ペアをクリーンアップし、ドキュメントをまとめて保管し、ほぼ重複した漏洩を回避します。トークン化により、テキストがどのようにモデル入力になるかが決まります。 1 つの書記体系を効率的に処理するトークナイザーは、別の書記体系をさらに多くの単位に分割する可能性があります。両方の言語の長さ制限と、切り詰めによってソースまたはターゲットのパッセージの終わりが削除されているかどうかを確認してください。自動メトリクスにより、繰り返しの実験が実用的になります。 BLEU は単語シーケンスのパターンを参照翻訳と比較しますが、メトリクスは意味、読みやすさ、ドメインへの適合性を完全に判断するものではありません。評価設定と参照の選択は重要なので、スコアとともに記録します。追加、省略、数値の変更、一貫性のない用語、誤った否定、ぎこちない表現など、メトリクスと並行してエラー分類を使用します。各言語ペアとドメインを個別に評価します。リソースが十分にある複数の言語の平均をとれば、あまり代表されていない言語や特殊な文書タイプの失敗が隠れてしまう可能性があります。
04作業例
単語の重複による有用性の比較
- オプションA
「荷物が届きませんでした」という内容を想像してください。候補者 A は「荷物が届かない」と言いました。候補者 B は「荷物は届きました。」と言いました。
- オプション B
候補者 A は別の単語を使用していますが、主な意味は保持しています。候補 B は基準と似ていますが、結果は逆転します。
外観や重複だけで翻訳を選択するのではなく、否定エラーを明示的に記録します。
それが示すもの
構築された例は、メトリックベースの比較にセマンティック レビューが必要な理由を示しています。
現実世界の実装
文書化されたメトリクスとバイリンガルのエラー レビューの両方を使用して、固定テスト セットを評価します。
ソースとターゲットのペアを監査して、日付、名前、文の境界が一致していないかどうかを確認します。
実践する
なぜそれが重要なのか
- 速度とスケール. 言語ワークフローは、一貫性を犠牲にすることなく、より高速に移行できます。
- アクセスと到達範囲. 言語やコミュニケーション スタイルを超えてアクセスが拡張されます。
- より明確な判決. 自動化が繰り返しを処理する間、チームは判断により多くの時間を費やすことができます。
気をつけてください
- 幻覚のような事実が、レポート、サポート フロー、または研究結果に静かに組み込まれる可能性があります。
- 迅速な対応により、同様のリクエスト間で一貫性のない結果が生じる可能性があります。
- アクセス制御が弱いと、機密テキスト データが漏洩する可能性があります。
次のステップ
- 展開する前に、出力形式、トーン、品質基準を定義します。
- 正確さが重要な場合は常に、信頼できる情報源を使って地上対応を行ってください。
- 一か八かの成果物については人間によるレビュー チェックポイントを維持します。
- 失敗パターンを追跡し、プロンプトやワークフローを定期的に再トレーニングします。
出典とさらなる参考文献
- Association for Computational LinguisticsBleu: 機械翻訳の自動評価手法
探検を続けましょう
よくある質問
BLEU は正しく翻訳された文の割合ですか?
いいえ。これは自動的な参照ベースの指標であり、人間が正しいと判断する文の直接の数ではありません。