自己教師あり学習
自己教師あり学習では、答えがデータ自体の中に隠されているタスクを発明することにより、ラベルのないデータでモデルをトレーニングします。
概要
It is how modern language and vision foundation models learn from the raw internet without armies of human labelers.
ディープダイブ
データに手作業でラベルを付けるのは時間がかかり、費用もかかりますが、世界にはラベルのないテキスト、画像、音声、ビデオが溢れています。自己教師あり学習は、データが独自の答えを提供する「口実タスク」を作成することで、それを解き放ちます。古典的な例は、BERT で使用されるマスクされた言語モデリングです。文内のいくつかの単語を隠し、コンテキストから単語を予測するようにモデルをトレーニングします。 GPT スタイルのモデルは次の単語を予測します。視覚では、SimCLR のような対照的な手法は、モデルに同じ画像の 2 つの拡張クロップを示し、異なる画像を押し離しながらそれらが一緒に属していることを教えます。これらの自作のパズルを解くと、モデルは意味と構造の豊富な内部表現を構築するようになります。これらの表現は、ラベル付きデータがほとんどまたはまったくない実際の下流タスクに強力に転送されます。
技術的な洞察
その秘訣は、監視信号を無料で生成することです。マスクされたモデリングでは、隠されたトークンがラベルであるため、人間による注釈なしで損失を計算できます。対照学習では、1 つの画像の 2 つの拡張が埋め込み空間内で近くに位置する「ポジティブ ペア」を形成し、他の画像は「ネガティブ」に押しのけられます。いずれの場合でも、モデルはデータ自体の構造から純粋に派生したラベルに基づいて最適化され、後で簡単な微調整だけが必要になる一般的な特徴を学習します。
戦略的影響
より明確な判決
これは、明確な技術的主張とマーケティング言語を区別するのに役立ちます。
費用と予算
お金や時間を費やす前に、実装に関するより良い質問をすることができます。
チームとワークフロー
共通の理解を持ったチームは、製品、ポリシー、学習に関する意思決定をより適切に行うことができます。
自己教師あり学習の未来
自己教師あり学習は今日の基礎モデルの背後にあるエンジンであり、その役割は今後も増大する一方です。明らかな傾向は、単一のモデルが自己教師付き目標を使用してテキスト、画像、オーディオ、ビデオから共同学習するマルチモーダル事前トレーニングに向かっています。研究者たちは、対照的な手法を超えて、ネガティブな例を必要としないビジョンや自己蒸留技術におけるマスクされた予測アプローチに向けて前進しています。高品質のラベル付きデータがボトルネックになる中、膨大なラベルなしストリームから有用な構造を直接学習することが、AI を拡張するための中心的な戦略であり続けるでしょう。
現実世界の実装
BERT は、マスクされた単語を予測して言語を学習し、検索、センチメント、または質問応答用に微調整します。
SimCLR はラベルのない写真で画像エンコーダーを事前トレーニングし、後で非常に少ないラベルで分類できるようにします
膨大なテキスト コーパス全体で次のトークンを繰り返し予測することで書き方を学習する GPT スタイルのモデル
音声モデルは、文字起こしに適応される前に、ラベルのない生の音声で事前トレーニングされています (マスクされた音声セグメントを予測します)。
リスクとガードレール
チームが異なれば、同じ用語の使用方法も異なる可能性があるため、範囲を早めに定義してください。
ベンチマークは好調に見えても、実際のパフォーマンスにはばらつきがある場合があります。
データの品質と評価計画を無視すると、多くの場合、脆弱な結果が生じます。
実装ロードマップ
必要な結果を平易な言葉で定義することから始めます。
テストする前に、成功指標と失敗条件を 1 つ選択します。
洗練されたデモセットではなく、代表的なデータを使用して小規模なパイロットを実行します。
自己教師あり学習が役立つ場合と、よりシンプルな方法の方が優れている場合を文書化します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Supervised Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
教師あり学習
よくある質問
What is Self-Supervised Learning?
自己教師あり学習では、答えがデータ自体の中に隠されているタスクを発明することにより、ラベルのないデータでモデルをトレーニングします。これは、現代の言語と視覚の基盤モデルが、人間のラベル作成者の軍隊なしで生のインターネットから学習する方法です。
学習が「自己教師あり」になるのはなぜですか?
自己教師あり学習は、答えがデータの中に隠されている口実タスクを発明するため、人間によるラベル付けは必要ありません。
自己教師あり学習はなぜ基礎モデルにとってそれほど価値があるのでしょうか?
監視信号はデータ自体から得られるため、Web から取得したラベルのない膨大なコーパスでモデルを事前トレーニングできます。
自己教師付き事前トレーニングの後、通常、次に何が起こりますか?
事前トレーニングにより、適切に転送される一般的な表現が構築されるため、特定のタスクではラベル付きデータの軽い微調整のみが必要になります。
GPT スタイルのモデルの自己教師ありタスクは BERT のそれとどのように異なりますか?
GPT スタイルのモデルはシーケンス内の次のトークンを予測するようにトレーニングされますが、BERT は左右のコンテキストの両方を使用してマスクされたトークンを予測します。