数回の学習
フューショット学習とは、数千の例ではなく、ほんの一握りの例から新しいタスクを学習する機能です。
概要
It matters because it mirrors how humans generalize and lets modern AI adapt instantly without expensive retraining.
ディープダイブ
従来の機械学習では、ラベル付きの巨大なデータセットが必要ですが、少数ショット学習では、クラスごとにほんの数例を確認しただけで良好なパフォーマンスが得られることを目指しています。大規模な言語モデルにより、コンテキスト内の少数ショット学習が普及しました。プロンプトに直接いくつかの入出力例を配置すると、モデルは重みを更新せずにパターンを推論して新しい入力に適用します。この用語は、示されている例を数えることに由来しており、多くの場合、N ウェイ K ショット (N クラス、それぞれ K 個の例) と書かれます。ゼロショットは例がないことを意味し、ワンショットは 1 件を意味し、少数ショットは通常 2 ～数十件を意味します。これが機能するのは、モデルが事前トレーニング中にすでに広範なパターンを吸収しているためです。そのため、いくつかの例は主にどの既存のスキルを使用するかを示しています。
技術的な洞察
コンテキスト内の少数ショット学習は、プロンプト内のサンプルを読み取るトランスフォーマーに依存し、勾配の更新や重みの変更を行わずに、パターンの一致に注意を払います。この例では、新しい入力に対するモデルの次のトークンの予測を条件付けします。プロトタイプ ネットワークやマッチング ネットワークなどの別のファミリーのメトリック ベースのメソッドは、代わりに、新しいサンプルを各クラスのいくつかのサンプルの平均と比較し、最も近いものを選択する埋め込み空間を学習します。どちらのルートも事前学習を活用するため、希少なラベルが大いに役立ちます。
戦略的影響
より明確な判決
これは、明確な技術的主張とマーケティング言語を区別するのに役立ちます。
費用と予算
お金や時間を費やす前に、実装に関するより良い質問をすることができます。
チームとワークフロー
共通の理解を持ったチームは、製品、ポリシー、学習に関する意思決定をより適切に行うことができます。
フューショット学習の未来
少数ショット学習は、人々が大規模なモデルを使用するデフォルトの方法になりつつあるため、フロンティアはそれの信頼性を高めています。より優れたサンプルの選択、順序付け、検索により、プロンプトが最も有用なデモンストレーションを自動的に選択します。検索との緊密な統合と、より多くの例に適合する長いコンテキスト ウィンドウに加えて、例の順序と書式設定の精度がそれほど高い理由についての研究が期待されます。モデルが改良されるにつれて、簡単なタスクではゼロショットと少数ショットの差が縮まり、一方で特殊な形式やエッジケースでは少数ショットが依然として価値があります。
現実世界の実装
プロンプト内で各カテゴリーのラベル付き例を 3 つまたは 4 つだけモデルに表示した後、カスタマー サポート チケットをカテゴリーに分類します。
2 つまたは 3 つの入出力ペアの例を指定して、チャットボットに特定の出力形式 (名前付きフィールドを含む JSON など) を教えます。
ビジョン システムのプロトタイプ ネットワークを使用して、わずか数枚の写真サンプルからまれな製造欠陥を特定します。
リクエストに前後の例をいくつか含めることにより、ブランドの声に合わせて翻訳または要約のスタイルを調整します。
リスクとガードレール
チームが異なれば、同じ用語の使用方法も異なる可能性があるため、範囲を早めに定義してください。
ベンチマークは好調に見えても、実際のパフォーマンスにはばらつきがある場合があります。
データの品質と評価計画を無視すると、多くの場合、脆弱な結果が生じます。
実装ロードマップ
必要な結果を平易な言葉で定義することから始めます。
テストする前に、成功指標と失敗条件を 1 つ選択します。
洗練されたデモセットではなく、代表的なデータを使用して小規模なパイロットを実行します。
フューショット学習が役立つ場合と、よりシンプルな方法の方が優れている場合を文書化します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Few-Shot Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
転移学習
よくある質問
What is Few-Shot Learning?
フューショット学習とは、数千の例ではなく、ほんの一握りの例から新しいタスクを学習する機能です。これは人間が一般化する方法を反映しており、現代の AI が高価な再トレーニングなしで即座に適応できるようにするため、重要です。
「N-way K-shot」という表記の K は何を指しますか?
K は各クラスに与えられる例の数であり、N はクラス (「ウェイ」) の数です。
大規模な言語モデルがプロンプトからコンテキスト内の少数ショット学習を行う場合、その重みはどうなるでしょうか?
インコンテキスト学習では勾配更新は行われません。プロンプト内の例は、モデルの次のトークンの予測をガイドするだけです。
ゼロショットプロンプトと少数ショットプロンプトの主な違いは何ですか?
ゼロショットでは例のない説明のみが提供されますが、少数ショットでは少数のデモンストレーションが含まれます。
大規模な事前トレーニング済みモデルが新しいタスクを適切に実行するには、なぜいくつかの例で十分なのでしょうか?
事前トレーニングによる幅広い知識とは、最初から教えるのではなく、いくつかのデモンストレーションが主に既存の機能を使用することを示すことを意味します。
プロトタイプネットワークのようなメトリックベースの少数ショット手法を説明しているのはどれですか?
プロトタイプ ネットワークは、クラスごとにプロトタイプ (平均埋め込み) を形成し、学習された空間内で最も近いプロトタイプによって新しいポイントを分類します。