AI用語集の用語

投機的デコードとは?

定義

小規模なドラフト モデルが提案するトークンを、より大きなモデルが並行して検証する推論高速化方法。