テクニカルガイド
長いコンテキストの位置補間
位置補間 (PI) は、モデルがすでに知っている範囲に新しい位置インデックスを押し込むことによって、Transformer のコンテキスト ウィンドウを拡張する、シンプルで影響力のある手法です。
このガイドを聴くAIによるナレーション · ~2 min
概要
Instead of extrapolating to unseen positions, it interpolates within trained ones, requiring only brief fine-tuning.
ディープダイブ
Meta の研究者 (Chen ら) によって 2023 年に導入された位置補間は、RoPE を使用したモデルがトレーニングを超えた位置に外挿するときに致命的に失敗するという事実に取り組みます。この洞察は直観に反しています。PI は、これまでに見たことのない大きな位置値を処理するようモデルに要求するのではなく、受信した位置インデックスをスケール係数で除算し、たとえば 8K のターゲット長を元の 2K 範囲にマッピングします。モデルはその範囲でトレーニングされたため、回転は分布内に留まります。わずか 1,000 回の微調整ステップの後、この方法で拡張された LLaMA モデルは最大 32K のコンテキストを処理できるようになりました。この論文では、外挿では注意スコアが膨大な値にまで爆発する可能性がある一方、内挿では注目スコアが制限されて安定した状態に保たれるため、内挿の方が外挿よりも劇的にうまく機能することが示されました。
現実世界の実装
2K コンテキスト LLaMA モデルを拡張して、約 1,000 の微調整ステップで 8K ～ 32K トークンを処理する
最初から再トレーニングせずに、既存のチャット モデルを長い文書の要約に適応させる
NTK 対応のスケーリングと YaRN が改善する概念的なベースラインとして機能します
もともと短いウィンドウでトレーニングされたモデルで長いコンテキスト コードまたは法的文書の分析を可能にする
長いコンテキストに対する位置補間の将来
位置補間は、局所的なディテールを維持するためにより選択的に補間する NTK 対応スケーリングや YaRN などの一連のフォローアップの基礎となりました。その軌道は、微調整をほとんどまたはまったく必要としないメソッドと、長いコンテキストの処理を事前トレーニングに組み込む方向に向かっています。 PI は依然として貴重なベースラインであり、128K 以上のコンテキスト ウィンドウに効率的に到達するために、新しい周波数認識スキームと組み合わせられることがよくあります。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
よくある質問
What is Positional Interpolation for Long Context?
位置補間 (PI) は、モデルがすでに知っている範囲に新しい位置インデックスを押し込むことによって、Transformer のコンテキスト ウィンドウを拡張する、シンプルで影響力のある手法です。目に見えない位置を補間するのではなく、訓練された位置内で補間するため、簡単な微調整のみが必要になります。
位置補間の背後にある中心的な考え方は何ですか?
PI は、位置インデックスをスケール係数で除算するため、長いシーケンスはトレーニングされた位置範囲にマッピングされ、回転が分散された状態に保たれます。
ロングポジションへの単純な外挿はなぜ失敗するのでしょうか?
PI の論文は、目に見えない大きなポジションがトレーニングよりも桁違いに大きな注意スコアを生成し、ソフトマックスを不安定にする可能性があることを示しました。
LLaMA を 32K に拡張するには、元の PI 作業でどのくらいの微調整が必要でしたか?
この論文では、コンテキストを最大 32,000 トークンまで拡張するには、約 1,000 の微調整ステップで十分であると報告しています。
コンテキストを係数 s で拡張する場合、PI は位置 m をどのように変換しますか?
PI は位置 m を m/s に再スケールし、新しいより大きな範囲を元のトレーニング済み範囲に圧縮します。
PI は YaRN のような後の手法にどのような影響を与えましたか?
PI は補間を安全なアプローチとして確立しました。 NTK 対応のスケーリングと YaRN は、より選択的に周波数を補間することでスケーリングを改良しました。