前缀调整测验

当您参加测验时，就会出现答案和解释。

1. 前缀调优实际上训练什么？
   • 模型的所有变压器重量
   • 仅模型的输出词汇层
   • 每个任务的模型的单独副本
   • 模型保持冻结状态时的一小组连续前缀向量
2. 前缀向量注入到哪里？
   • 深入了解每个注意力层的键和值
   • 仅在最终输出层
   • 仅进入损失函数
   • 嵌入之前进入分词器
3. 谁引入了前缀调整以及大约何时引入的？
   • 2018 年OpenAI
   • 李和梁 2021 年在斯坦福大学
   • 2015 年Google
   • 2023 年Meta
4. 为什么前缀调整对于服务许多任务很有吸引力？
   • 它根本不需要训练数据
   • 它使推理无需硬件即可运行
   • 每个任务只需要一个很小的前缀，而不是完整的模型副本
   • 它一次性永久重写所有任务的基本模型
5. 经常使用什么技巧来稳定前缀训练？
   • 每一步将学习率加倍
   • 冻结前缀并训练模型
   • 删除所有注意力层
   • 通过稍后被丢弃的小型前馈网络重新参数化前缀
6. 前缀调优在哪类任务上特别出色？
   • 自然语言生成，例如表格到文本和摘要
   • 图像分类
   • 音频波形合成
   • 数据库索引
7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
   • About 10%
   • About 0.1%
   • 约50%
   • All model parameters
8. How did prefix-tuning perform in the paper’s low-data settings?
   • It always matched full fine-tuning on every task
   • It could not train with limited examples
   • It outperformed full fine-tuning in some evaluated low-data cases
   • It changed every backbone parameter