コードモデルの投機的編集

It matters because it can cut latency for large rewrites by an order of magnitude in coding tools.

AI がファイルを編集するとき、出力されるほとんどのトークンは通常、元のコードと同一です。実際に変更されるのは数行だけです。単純な生成ではファイル全体がトークンごとに再発行されるため、大きなファイルの場合は遅くなります。推測的な編集は、変更されていない構造を利用します。既存のソースは、モデルが出力するものの高品質な「ドラフト」として機能します。システムは、元のコードのチャンクを推測的な推測としてフィードし、モデルにそれらの多くを 1 回のフォワード パスで検証させます。モデルが一致する場合、それらのトークンは即座に受け入れられます。一致しない場合は、通常どおり修正されたスパンが生成されます。これは投機的デコードのコードに特化したものですが、個別の小さなドラフト モデルの代わりに、ドラフトは編集中のファイルから基本的に無料で提供され、編集の多いタスクで大幅な高速化が実現します。