言語モデリング

This single objective, scaled up massively, is what produces today's powerful chatbots and writing assistants.

言語モデルの中核では、テキストのシーケンスに確率を割り当てます。 「フランスの首都は」というプロンプトが与えられると、次に考えられる各トークンの可能性がどの程度であるかを推定し、「パリ」は高いスコアを獲得するはずです。初期の言語モデルは、単語シーケンスが出現する頻度をカウントするだけの統計的な N グラムでしたが、長い文脈や目に見えないフレーズに苦戦していました。ニューラル言語モデルは、カウントを学習された表現に置き換え、2017 年のトランスフォーマー アーキテクチャにより、モデルは長いテキストに効率的に対応できるようになりました。 GPT ファミリのような最新の大規模言語モデルは、次のトークンを予測するという 1 つの目的を持って、膨大なテキスト コーパスでトレーニングされます。驚くべきことに、これをうまく行うと、テキストを正確に予測するにはテキストを理解する必要があるため、モデルは文法、事実、推論パターン、スタイルを強制的に吸収することになります。生成は、次のトークンを繰り返し予測し、それをフィードバックすることで機能します。