人工智慧術語

什麼是推測性解碼?

定義

一種推理加速方法,其中小型草稿模型提出令牌,大型模型並行驗證。