状況に応じた学習
インコンテキスト学習とは、再トレーニングを行わずに、プロンプトに配置されたいくつかの例から新しいタスクを選択できる、大規模な言語モデルの驚くべき能力です。
概要
It is the reason you can 'teach' a model on the fly just by showing it what you want.
ディープダイブ
通常、ニューラル ネットワークに新しいタスクを教えるということは、トレーニングを通じてその重みを更新することを意味します。インコンテキスト学習は異なります。プロンプト (「コンテキスト」) に直接いくつかの例を書き込むと、モデルがパターンを推測して新しい入力に適用します。モデル内部は何も変更されません。この例は、次のトークンの予測を制御するだけです。 「ゼロショット」 (指示のみ)、「ワンショット」 (1 つの例)、および「フューショット」 (いくつかの例) が聞こえます。この動作は 2020 年に GPT-3 によって普及し、新たな能力であることが判明しました。小さなモデルではそれができませんが、約 1,000 億のパラメーター スケールを超えると、数ショット プロンプトの精度が急激に向上します。モデルは事前トレーニング中にパターンを認識して継続することを効果的に学習したため、推論時にそのスキルを再利用できます。
技術的な洞察
解釈可能性の研究では、この能力の多くが「誘導ヘッド」、つまりトレーニング中に出現し、ファジープレフィックスマッチングを実行する注意回路であることが追跡されました。類似したトークンが出現した場所をスキャンバックし、その後に続くものをコピーします。したがって、プロンプトに「リンゴ -> 果物、ニンジン -> 野菜」と表示されると、モデルは構造と一致し、次の項目の適切なラベルを予測します。重要なのは、推論時に勾配が流れず、重みが更新されないことです。この例では、次のトークンの確率分布にフィードを与えるアクティベーションを単純に再構成します。
戦略的影響
速度とスケール
言語ワークフローは、一貫性を犠牲にすることなく、より高速に移行できます。
アクセスと到達範囲
言語やコミュニケーション スタイルを超えてアクセスが拡張されます。
より明確な判決
自動化が繰り返しを処理する間、チームは判断により多くの時間を費やすことができます。
コンテキスト内学習の未来
コンテキスト ウィンドウ (現在は数十万のトークン) の拡大により、コンテキスト内の学習が「メニーショット」方式に向かって推進され、トレーニング コストなしで数十または数百のサンプルが一部のタスクの微調整に匹敵します。検索との緊密な統合が期待されるため、関連する例が自動的に取得され、コンテキスト内での学習が失敗したり、気が散ったりした場合の理論が改善されます。これは、モデルを適応させるための高速かつ安価な方法であり、安定した大量のタスクの微調整を置き換えるのではなく、補完するものであり続けます。
現実世界の実装
チャットボットに 3 つのサポート チケットの例とそのカテゴリを与え、同じ方法で新しいチケットを分類させます。
乱雑なテキストの前後 2 つのペアがきれいな JSON に再フォーマットされ、残りが変換されるモデルを示しています。
ブランドの雰囲気に合わせていくつかのサンプル商品説明を貼り付け、新しい説明がスタイルにマッチするようにします
トリッキーな数学の単語問題を段階的にデモンストレーションすることで、モデルが同じ推論形式で同様の問題を解決できるようになりました。
リスクとガードレール
幻覚のような事実が、レポート、サポート フロー、または研究結果に静かに組み込まれる可能性があります。
迅速な対応により、同様のリクエスト間で一貫性のない結果が生じる可能性があります。
アクセス制御が弱いと、機密テキスト データが漏洩する可能性があります。
実装ロードマップ
展開する前に、出力形式、トーン、品質基準を定義します。
正確さが重要な場合は常に、信頼できる情報源を使って地上対応を行ってください。
一か八かの成果物については人間によるレビュー チェックポイントを維持します。
失敗パターンを追跡し、プロンプトやワークフローを定期的に再トレーニングします。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the In-Context Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
コンテキストウィンドウ
よくある質問
What is In-Context Learning?
インコンテキスト学習とは、再トレーニングを行わずに、プロンプトに配置されたいくつかの例から新しいタスクを選択できる、大規模な言語モデルの驚くべき能力です。これが、モデルに必要なものを示すだけで、その場でモデルを「教える」ことができる理由です。
インコンテキスト学習中にモデル内部で根本的に何が変化するのでしょうか?
コンテキスト内の学習は完全に推論で行われます。プロンプト内の例では、モデルのアクティベーションと次のトークンの予測が形成されますが、重みは更新されません。
文脈に沿った学習が「創発的な」能力として説明されるのはなぜですか?
この機能は小規模モデルでは弱いか存在しませんが、モデルが非常に大規模になると急上昇するため、この機能は緊急と呼ばれます。
トランスフォーマーのコンテキスト内学習に最も関連する内部メカニズムはどれですか?
解釈可能性の研究では、誘導ヘッド（類似のトークンが出現した場所を見つけて次に出現したものをコピーする注意回路）がコンテキスト内学習の中核的な推進力であることが特定されました。