T5 とテキスト間転送
2019 年の Google からの T5 (Text-to-Text Transfer Transformer) は、あらゆる NLP タスク、翻訳、要約、分類、さらには回帰を、テキストの入力とテキストの出力として再構成します。
概要
This single unified format lets one model and one training recipe handle dozens of tasks.
ディープダイブ
T5 の中心的な考え方は、あらゆる言語タスクをテキストからテキストにキャストできるということです。入力はタスクのプレフィックスが付いた文字列であり、出力は常に文字列です。翻訳は「英語をドイツ語に翻訳: ...」となり、ドイツ語のテキストが生成されます。センチメントは「sst2 文: ...」となり、文字通りの単語「ポジティブ」または「ネガティブ」が生成されます。エンコーダのみの BERT やデコーダのみの GPT とは異なり、完全なエンコーダ - デコーダ Transformer を使用します。 T5 は、C4 コーパス (Colossal Clean Crawled Corpus、約 750 GB のクリーンな Web テキスト) で、スパン破損の目標を持って事前トレーニングされました。トークンのランダムなスパンがマスクされてセンチネル トークンに置き換えられ、モデルは欠落しているスパンを生成するように学習します。それに伴う調査では、アーキテクチャ、目的、データセットのサイズを体系的に比較して、何が最適な転送かを見つけました。
技術的な洞察
T5 の事前トレーニングでは、単一のトークンではなく、連続したスパンがマスクされます。マスクされた各スパンは入力内の固有のセンチネル トークンに置き換えられ、デコーダーはセンチネルとそれに続く元のコンテンツを生成します。このスパン破損ノイズ除去は、BERT の単一トークン マスキングよりも効率的です。完全なクロスアテンションを備えたエンコーダ-デコーダ設計により、デコーダは出力を自己回帰的に生成しながら、エンコードされた入力全体に対応できます。
戦略的影響
速度とスケール
言語ワークフローは、一貫性を犠牲にすることなく、より高速に移行できます。
アクセスと到達範囲
言語やコミュニケーション スタイルを超えてアクセスが拡張されます。
より明確な判決
自動化が繰り返しを処理する間、チームは判断により多くの時間を費やすことができます。
T5 とテキスト間転送の将来
テキストからテキストへのパラダイムは大きな影響力を持つようになりました。FLAN-T5 のような命令調整された子孫は、自然言語命令からの目に見えないタスクに一般化され、統一された形式は今日のプロンプト駆動型の大規模言語モデルの先駆けとなりました。デコーダのみのモデルがオープンエンドのチャット アプリケーションを支配しているとしても、要約、翻訳、構造化生成には T5 エンコーダ/デコーダが引き続き使用されることが予想されます。また、mT5 や効率重視の後継モデルなどの多言語バリアントも期待されます。
現実世界の実装
抽象的な要約: 記事の前に「summarize: 」という接頭辞を付けると、T5 が独自の言葉で簡潔な要約を生成します。
機械翻訳: 単一の T5 モデルは、「英語をフランス語に翻訳:」のような接頭辞を介して複数の言語ペアを処理します。
FLAN-T5 は、タスク固有の再トレーニングを行わずに、自然言語の指示に従い、質問への回答と推論を行います。
クローズドブック質問応答: T5 は、ウェイトに保存された知識を利用して、生成されたテキストとして事実に関する質問に直接回答します。
リスクとガードレール
幻覚のような事実が、レポート、サポート フロー、または研究結果に静かに組み込まれる可能性があります。
迅速な対応により、同様のリクエスト間で一貫性のない結果が生じる可能性があります。
アクセス制御が弱いと、機密テキスト データが漏洩する可能性があります。
実装ロードマップ
展開する前に、出力形式、トーン、品質基準を定義します。
正確さが重要な場合は常に、信頼できる情報源を使って地上対応を行ってください。
一か八かの成果物については人間によるレビュー チェックポイントを維持します。
失敗パターンを追跡し、プロンプトやワークフローを定期的に再トレーニングします。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the T5 and Text-to-Text Transfer quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
テキストからの関係抽出
よくある質問
What is T5 and Text-to-Text Transfer?
2019 年の Google からの T5 (Text-to-Text Transfer Transformer) は、あらゆる NLP タスク、翻訳、要約、分類、さらには回帰を、テキストの入力とテキストの出力として再構成します。この単一の統一フォーマットにより、1 つのモデルと 1 つのトレーニング レシピで数十のタスクを処理できます。
T5 の背後にある決定的なアイデアは何ですか?
T5 は、タスク プレフィックスを使用して、翻訳、要約、分類などを単一のテキスト対テキスト形式にキャストします。
T5 はどのような Transformer アーキテクチャを使用していますか?
エンコーダのみの BERT やデコーダのみの GPT とは異なり、T5 はクロスアテンションを備えた完全なエンコーダ/デコーダ Transformer を使用します。
T5 は主にどのような事前トレーニング目標を使用しますか?
T5 は、トークンのランダムなスパンをマスクし、それぞれをセンチネルで置き換え、欠落しているスパンを再現するようにデコーダーをトレーニングします。
T5 はどのコーパスで事前トレーニングされましたか?
T5 は、Common Crawl Web テキストの約 750 GB のクリーンアップされたサブセットである C4 でトレーニングされました。
T5 は感情分析などの分類タスクをどのように表しますか?
すべてがテキスト対テキストであるため、T5 はクラス ラベルを数値クラス インデックスではなく単語文字列として出力します。