即時チューニング
プロンプト チューニングでは、単語を手で書くのではなく、入力の前に追加された少数の連続的な「ソフト プロンプト」ベクトルを学習することで、フリーズされた言語モデルを適応させます。
概要
It is one of the leanest ways to specialize a giant model, and it gets better as models get bigger.
ディープダイブ
Google 研究者の Lester、Al-Rfou、Constant によって 2021 年に導入されたプロンプト チューニングは、プレフィックス チューニングの最も単純な親戚です。テキスト プロンプトを手動で作成する代わりに、モデル全体をフリーズし、入力層でのみ先頭に追加される連続埋め込みの小さなマトリックス (「ソフト プロンプト」) を学習します。勾配降下法はこれらのベクトルを調整して、タスクに適切な動作を促します。驚くべき発見: 基本モデルが数十億のパラメーターに向かって拡張されると、プロンプト チューニングによって完全な微調整との差が縮まり、最終的には SuperGLUE などのベンチマークと一致します。各タスクに必要なのは、独自の小さなソフト プロンプト (多くの場合、数千のパラメーター) だけであるため、単一のフリーズされたモデルで一度に多くのタスクを処理できます。著者らはこれを「パラメータ効率の高いプロンプト チューニングのためのスケールの力」と表現しました。
技術的な洞察
ソフト プロンプトは実際の単語ではありません。これらは、語彙内のトークンに対応する必要のない、埋め込み空間内に浮遊するベクトルです。これらは入力埋め込み層にのみ追加されるため (すべての層に注入されるプレフィックス チューニングとは異なります)、プロンプト チューニングがさらに軽量になります。モデルがフリーズされているため、勾配はソフト プロンプト エンベディングにのみ戻ります。初期化、プロンプトの長さ、モデルのスケールはすべて品質に大きな影響を与えます。
戦略的影響
速度とスケール
言語ワークフローは、一貫性を犠牲にすることなく、より高速に移行できます。
アクセスと到達範囲
言語やコミュニケーション スタイルを超えてアクセスが拡張されます。
より明確な判決
自動化が繰り返しを処理する間、チームは判断により多くの時間を費やすことができます。
プロンプトチューニングの未来
迅速な調整により、学習された小さな信号で凍結基礎モデルを操作できるというアイデアが普及し、それが今日の PEFT ツールキットの多くを支えています。モデルがスケールし続けるにつれて、ギャップを埋める効果により、ソフト プロンプトは安価なマルチタスク展開にとって魅力的なものになります。研究では、タスクやモデル間で学習可能なプロンプトを転送し、それらを検索と組み合わせて、制御可能で安全な生成に使用するというアイデアを拡張しています。ソフト プロンプトは、LoRA やアダプターと並んで低コストの手段であり続けることが予想されます。
現実世界の実装
1 つのフリーズされた T5 モデルを多くの SuperGLUE タスクに特化し、タスクごとに個別のソフト プロンプトを保存します
それぞれが学習した独自のプロンプトを備えた、単一の大規模モデルを多くの顧客に低コストでデプロイする
手作業で言葉遣いを調整することなく、感情や分類行動を制御する
ソフトプロンプト転送: 1 つのタスクでプロンプトを事前トレーニングして、関連するタスクで学習をウォームスタートする
リスクとガードレール
幻覚のような事実が、レポート、サポート フロー、または研究結果に静かに組み込まれる可能性があります。
迅速な対応により、同様のリクエスト間で一貫性のない結果が生じる可能性があります。
アクセス制御が弱いと、機密テキスト データが漏洩する可能性があります。
実装ロードマップ
展開する前に、出力形式、トーン、品質基準を定義します。
正確さが重要な場合は常に、信頼できる情報源を使って地上対応を行ってください。
一か八かの成果物については人間によるレビュー チェックポイントを維持します。
失敗パターンを追跡し、プロンプトやワークフローを定期的に再トレーニングします。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prompt Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
Prompt Engineering
よくある質問
What is Prompt Tuning?
プロンプト チューニングでは、単語を手で書くのではなく、入力の前に追加された少数の連続的な「ソフト プロンプト」ベクトルを学習することで、フリーズされた言語モデルを適応させます。これは巨大なモデルを特殊化するための最も無駄のない方法の 1 つであり、モデルが大きくなるにつれて改善されます。
プロンプト チューニングの「ソフト プロンプト」とは何ですか?
ソフト プロンプトは、人間が読める単語ではなく、埋め込み空間内のトレーニング可能な連続ベクトルです。
プロンプトチューニングでは、トレーニング可能なベクトルがどこに追加されるのでしょうか?
プロンプト チューニングでは、入力時にのみソフト プロンプトが先頭に追加されるため、プレフィックス チューニングよりも軽量になります。
元の論文ではモデルのスケールに関してどのような驚くべき効果が強調されていましたか?
この論文のタイトルは「スケールの力」を強調しており、より大きなモデルでは、迅速なチューニングが完全な微調整に匹敵するようになります。
プロンプトチューニングを導入したのは誰ですか?
Google の Brian Lester、Rami Al-Rfou、Noah Constant は、2021 年にプロンプト チューニング ペーパーを公開しました。
プロンプト チューニングを行うと、どのようにして 1 つのモデルから多くのタスクを処理できるようになるのでしょうか?
タスク固有のソフト プロンプトは小さなソフト プロンプトのみであるため、プロンプトを交換することで 1 つのフリーズされたモデルで多くのタスクをホストできます。