テクニカルガイド
投機的ストリーミングとマルチトークン予測
投機的ストリーミングとマルチトークン予測は、一度に 1 つのトークンを生成するのではなく、複数の将来のトークンを一度に推測し、1 回のパスで検証することで、言語モデルの生成を高速化します。
このガイドを聴くAIによるナレーション · ~2 min
概要
They cut latency without changing the text the model would have written.
ディープダイブ
通常の自己回帰デコードは、各トークンに完全な前方パスが必要であり、トークンが厳密に次々に生成され、GPU が十分に使用されないままになるため、時間がかかります。投機的デコードでは、候補トークンの塊を提案する安価なドラフターを使用してこの問題を修正し、大規模なターゲット モデルがそれを並行して検証します。ターゲットが生成したものと一致するプレフィックスはすべて無料で受け入れられ、最初の不一致は修正されます。投機的ストリーミングとメデューサ スタイルのマルチトークン予測により、ドラフターがモデル自体に組み込まれます。超軽量の予測ヘッド (または投機的トークンのストリーム) により、1 つのモデルがドラフトと検証の両方を行うことができ、別のドラフト モデルを回避できます。検証が正確であるため、出力分布は標準のデコードと同じであり、連続ステップが 2 ～ 3 分の 1 少なくなります。
現実世界の実装
Medusa スタイルの追加予測ヘッドを使用して、チャット アシスタントの応答遅延を 2 ～ 3 倍に削減
推論サーバーに自己投機的デコーディングを追加することで、別のドラフト モデルをホストする必要がなくなりました。
長く予測可能なトークン実行が大きなチャンクで受け入れられるため、コード補完が高速化されます。
メモリバウンドの各フォワードパスからより多くのトークンを抽出することで、リクエストあたりの GPU コストを削減します。
投機的ストリーミングとマルチトークン予測の未来
個別のドラフト モデルを必要としない自己投機的な手法が推論エンジンのデフォルトになりつつあり、研究では、より優れたドラフト ヘッド、ツリー構造の候補、およびマルチトークン予測用のベース モデルの共同トレーニング (これにより品質も向上します) を使用して、合格率を高めています。これらのテクニックを量子化やバッチ処理と組み合わせることで、モデルが成長してもインタラクティブなアシスタントが即座に感じられるようになることが期待されます。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
無料ニュースレター
毎日のAIブリーフィングを受け取る
毎週平日の朝に英語で書かれた3つの検証済みAIストーリー。無料で永続的、広告なし。
毎週平日に1通のメール。ワンクリックで購読解除。住所を販売または共有しません。
自分自身をテストしてください
Take the Speculative Streaming and Multi-Token Prediction quiz
すべての回答に即時フィードバック、合格後は検証可能なID付きの共有可能な証明書を取得。
無料AI教育をサポート。AI Understandingは501(c)(3)の非営利団体です — 広告なし、課金壁なし、常に。 寄付をする
よくある質問
What is Speculative Streaming and Multi-Token Prediction?
投機的ストリーミングとマルチトークン予測は、一度に 1 つのトークンを生成するのではなく、複数の将来のトークンを一度に推測し、1 回のパスで検証することで、言語モデルの生成を高速化します。モデルが作成するテキストを変更することなく、レイテンシを短縮します。
標準の自己回帰デコードが GPU 上で遅くなることが多いのはなぜですか?
各トークンには独自のフォワード パスが必要であり、厳密にシーケンシャルであるため、GPU はメモリ帯域幅に制限され、デコード中に十分に活用されません。
投機的解読において「起草者」は何をするのでしょうか?
安価な起草者が候補トークンの塊を提案し、大規模なターゲット モデルがそれを並行して検証します。
投機的デコードでは出力品質はどのように維持されますか?
検証 (貪欲なマッチングまたは拒否サンプリング) により、受け入れられたトークンがターゲット モデルが生成する正確な分布に従うことが保証されるため、出力は変更されません。
Medusa スタイルのマルチトークン予測と古典的な投機的デコードの違いは何ですか?
Medusa スタイルの方法では、追加の予測ヘッドを使用して製図をモデルに組み込むため、別の製図モデルをホストする必要がなくなります。
なぜトランスフォーマーは、デコード中に 1 つとほぼ同じくらい安価に多くの候補位置を検証できるのでしょうか?
デコード中のボトルネックはメモリから重みを移動することであるため、同じパス内で追加の位置をスコアしても計算コストはほとんど追加されません。