人工智能术语

什么是推测性解码?

定义

一种推理加速方法,其中小型草稿模型提出令牌,大型模型并行验证。