言語AIガイド
転送用のアダプター層
アダプター層は、凍結された事前トレーニング済みモデルに挿入される小さなトレーニング可能なモジュールであり、パラメーターの数パーセントのみを更新することでモデルを新しいタスクに適応させることができます。
このガイドを聴くAIによるナレーション · ~2 min
概要
They make fine-tuning cheap, modular, and easy to swap.
ディープダイブ
Houlsby らによって普及されたアダプター。 (2019) NLP の転移学習に関して、コストのかかる問題に対処しました。完全な微調整により、大規模モデルのすべての重みが更新され、タスクごとにまったく新しいコピーが生成されます。アダプタは代わりに、小さなボトルネック ネットワークを各変圧器ブロックに挿入します。通常は、低次元への下方投影、非線形性、および残留接続でラップされた逆上方投影です。トレーニング中、元の事前トレーニングされた重みはフリーズされたままになります。アダプターのみ (多くの場合、パラメーター全体の 5% 未満) が学習されます。これにより、はるかに少ないパラメータをトレーニングしながら、GLUE などのベンチマークでほぼ完全な微調整品質が得られます。各タスクには独自の小さなアダプターがあるため、1 つの基本モデルと多数の軽量タスク モジュールを保存し、それらを交換したり、スタックしたりすることができます。アダプターは、LoRA およびプレフィックス チューニングと並ぶ、パラメーター効率の良い微調整 (PEFT) ファミリの基本メンバーです。
現実世界の実装
言語固有のアダプターを追加すると、ネットワーク全体を再トレーニングすることなく、1 つの多言語モデルをスワヒリ語などに特化できます。
SaaS 製品で単一の基本モデルと顧客ごとの多数の小さなアダプターを維持し、リクエストごとに適切なアダプターを交換します。
数パーセントのアダプターのみをトレーニングし、そのベースを他のタスクと共有したままにして、感情分類のモデルを微調整します。
モジュール式再利用のために、ドメイン アダプタ (法定テキスト アダプタと要約アダプタなど) の上にタスク アダプタをスタックします。
転送用アダプター層の将来
アダプターと広範な PEFT ツールキットは、特にモデル サイズが増大するにつれて、大型モデルを手頃な価格でカスタマイズするための標準となっています。アダプターの構成 (AdapterHub のようにタスクまたは言語アダプターをモジュール式に組み合わせる)、推論時の多数のアダプター間のルーティング、および小さなアダプターがユーザーごとに共有の基本モデルを調整するオンデバイスのパーソナライゼーションの増加が期待されます。 LoRA の亜種は、純粋な効率性の点でますます優勢になっていますが、巨大なモデルを凍結し、小さなプラグインをトレーニングするという基本的なアイデアが、現在、現場でカスタマイズを拡張する方法の中心となっています。
実践する
なぜそれが重要なのか
- 速度とスケール. 言語ワークフローは、一貫性を犠牲にすることなく、より高速に移行できます。
- アクセスと到達範囲. 言語やコミュニケーション スタイルを超えてアクセスが拡張されます。
- より明確な判決. 自動化が繰り返しを処理する間、チームは判断により多くの時間を費やすことができます。
気をつけてください
- 幻覚のような事実が、レポート、サポート フロー、または研究結果に静かに組み込まれる可能性があります。
- 迅速な対応により、同様のリクエスト間で一貫性のない結果が生じる可能性があります。
- アクセス制御が弱いと、機密テキスト データが漏洩する可能性があります。
次のステップ
- 展開する前に、出力形式、トーン、品質基準を定義します。
- 正確さが重要な場合は常に、信頼できる情報源を使って地上対応を行ってください。
- 一か八かの成果物については人間によるレビュー チェックポイントを維持します。
- 失敗パターンを追跡し、プロンプトやワークフローを定期的に再トレーニングします。
探検を続けましょう
よくある質問
What is Adapter Layers for Transfer?
アダプター層は、凍結された事前トレーニング済みモデルに挿入される小さなトレーニング可能なモジュールであり、パラメーターの数パーセントのみを更新することでモデルを新しいタスクに適応させることができます。微調整が安価でモジュール式で簡単に交換できます。
アダプターを使用してトレーニングすると、元の事前トレーニングされたウェイトはどうなりますか?
アダプターのチューニングでは、基本モデルがフリーズされたままになり、挿入された小さなモジュールのみが学習されます。
ボトルネック アダプターの一般的な内部構造は何ですか?
従来のアダプターは、隠れた状態を低次元に圧縮し、非線形性を適用し、投影をバックアップし、スキップ接続を追加します。
アダプターは通常、パラメーターのどの部分をトレーニングしますか?
通常、アダプターはモデルの合計パラメーターの数パーセントのみを追加してトレーニングしますが、これは完全な微調整よりもはるかに少ないものです。
アダプターはなぜ多くのタスクを実行するのに便利なのでしょうか?
各タスクに必要なアダプターは小さなアダプターだけであるため、1 つの共有基本モデルで軽量モジュールを交換することで多くのタスクを処理できます。
アダプターはどのテクニックファミリーに属しますか?
アダプターは、LoRA やプレフィックス チューニングなどのアプローチと並ぶ、PEFT の中心的な手法です。