言語AIガイド
T5 とテキスト間転送
2019 年の Google からの T5 (Text-to-Text Transfer Transformer) は、あらゆる NLP タスク、翻訳、要約、分類、さらには回帰を、テキストの入力とテキストの出力として再構成します。
このガイドを聴くAIによるナレーション · ~2 min
概要
This single unified format lets one model and one training recipe handle dozens of tasks.
ディープダイブ
T5 の中心的な考え方は、あらゆる言語タスクをテキストからテキストにキャストできるということです。入力はタスクのプレフィックスが付いた文字列であり、出力は常に文字列です。翻訳は「英語をドイツ語に翻訳: ...」となり、ドイツ語のテキストが生成されます。センチメントは「sst2 文: ...」となり、文字通りの単語「ポジティブ」または「ネガティブ」が生成されます。エンコーダのみの BERT やデコーダのみの GPT とは異なり、完全なエンコーダ - デコーダ Transformer を使用します。 T5 は、C4 コーパス (Colossal Clean Crawled Corpus、約 750 GB のクリーンな Web テキスト) で、スパン破損の目標を持って事前トレーニングされました。トークンのランダムなスパンがマスクされてセンチネル トークンに置き換えられ、モデルは欠落しているスパンを生成するように学習します。それに伴う調査では、アーキテクチャ、目的、データセットのサイズを体系的に比較して、何が最適な転送かを見つけました。
現実世界の実装
抽象的な要約: 記事の前に「summarize: 」という接頭辞を付けると、T5 が独自の言葉で簡潔な要約を生成します。
機械翻訳: 単一の T5 モデルは、「英語をフランス語に翻訳:」のような接頭辞を介して複数の言語ペアを処理します。
FLAN-T5 は、タスク固有の再トレーニングを行わずに、自然言語の指示に従い、質問への回答と推論を行います。
クローズドブック質問応答: T5 は、ウェイトに保存された知識を利用して、生成されたテキストとして事実に関する質問に直接回答します。
T5 とテキスト間転送の将来
テキストからテキストへのパラダイムは大きな影響力を持つようになりました。FLAN-T5 のような命令調整された子孫は、自然言語命令からの目に見えないタスクに一般化され、統一された形式は今日のプロンプト駆動型の大規模言語モデルの先駆けとなりました。デコーダのみのモデルがオープンエンドのチャット アプリケーションを支配しているとしても、要約、翻訳、構造化生成には T5 エンコーダ/デコーダが引き続き使用されることが予想されます。また、mT5 や効率重視の後継モデルなどの多言語バリアントも期待されます。
実践する
なぜそれが重要なのか
- 速度とスケール. 言語ワークフローは、一貫性を犠牲にすることなく、より高速に移行できます。
- アクセスと到達範囲. 言語やコミュニケーション スタイルを超えてアクセスが拡張されます。
- より明確な判決. 自動化が繰り返しを処理する間、チームは判断により多くの時間を費やすことができます。
気をつけてください
- 幻覚のような事実が、レポート、サポート フロー、または研究結果に静かに組み込まれる可能性があります。
- 迅速な対応により、同様のリクエスト間で一貫性のない結果が生じる可能性があります。
- アクセス制御が弱いと、機密テキスト データが漏洩する可能性があります。
次のステップ
- 展開する前に、出力形式、トーン、品質基準を定義します。
- 正確さが重要な場合は常に、信頼できる情報源を使って地上対応を行ってください。
- 一か八かの成果物については人間によるレビュー チェックポイントを維持します。
- 失敗パターンを追跡し、プロンプトやワークフローを定期的に再トレーニングします。
探検を続けましょう
よくある質問
What is T5 and Text-to-Text Transfer?
2019 年の Google からの T5 (Text-to-Text Transfer Transformer) は、あらゆる NLP タスク、翻訳、要約、分類、さらには回帰を、テキストの入力とテキストの出力として再構成します。この単一の統一フォーマットにより、1 つのモデルと 1 つのトレーニング レシピで数十のタスクを処理できます。
T5 の背後にある決定的なアイデアは何ですか?
T5 は、タスク プレフィックスを使用して、翻訳、要約、分類などを単一のテキスト対テキスト形式にキャストします。
T5 はどのような Transformer アーキテクチャを使用していますか?
エンコーダのみの BERT やデコーダのみの GPT とは異なり、T5 はクロスアテンションを備えた完全なエンコーダ/デコーダ Transformer を使用します。
T5 は主にどのような事前トレーニング目標を使用しますか?
T5 は、トークンのランダムなスパンをマスクし、それぞれをセンチネルで置き換え、欠落しているスパンを再現するようにデコーダーをトレーニングします。
T5 はどのコーパスで事前トレーニングされましたか?
T5 は、Common Crawl Web テキストの約 750 GB のクリーンアップされたサブセットである C4 でトレーニングされました。
T5 は感情分析などの分類タスクをどのように表しますか?
すべてがテキスト対テキストであるため、T5 はクラス ラベルを数値クラス インデックスではなく単語文字列として出力します。