概述
适配器层是插入冻结的预训练模型中的微小可训练模块，让您只需更新百分之几的参数即可使其适应新任务。它们使微调变得便宜、模块化并且易于更换。
用于传输的适配器层是语言 AI 堆栈的一部分，用于大规模读取、生成、分类和转换文本和语音。
深入探讨
适配器，由 Houlsby 等人推广。 （2019）对于 NLP 中的迁移学习，解决了一个代价高昂的问题：完全微调更新大型模型中的每个权重，并为每个任务生成一个全新的副本。相反，适配器将小型瓶颈网络插入到每个变压器块中，通常是低维下投影、非线性和上投影返回，包裹在剩余连接中。在训练期间，原始预训练权重保持冻结状态；仅学习适配器（通常低于总参数的 5%）。这可以在 GLUE 等基准测试上产生近乎完全微调的质量，同时训练的参数要少得多。因为每个任务都有自己的小型适配器，所以您可以存储一个基本模型和许多轻量级任务模块，并交换甚至堆叠它们。适配器与 LoRA 和前缀调整一样，是参数高效微调 (PEFT) 系列的基本成员。
技术洞察
经典的瓶颈适配器将 d 维隐藏状态投影到更小的维度 m，应用非线性，然后使用跳跃连接投影回 d，以便它开始接近恒等。由于 m 远小于 d，因此添加的参数很小。由于基本模型被冻结，梯度仅流经适配器权重，从而大幅削减优化器内存。主要的运行时成本是每层的少量额外延迟，LoRA 等方法通过将学习到的权重合并回基础矩阵来减少延迟。
掌握传输的适配器层
适配器层是插入冻结的预训练模型中的微小可训练模块，让您只需更新百分之几的参数即可使其适应新任务。它们使微调变得便宜、模块化并且易于更换。用于传输的适配器层是语言 AI 堆栈的一部分，用于大规模读取、生成、分类和转换文本和语音。为了建立深入的理解，请将用于传输的适配器层视为一种操作模型，而不是单个功能：定义所需的结果，澄清假设，并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。
在实践中，使用适配器层进行传输的强大团队将提示、检索和审查循环设计为一个集成通信系统。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
语言工作流程可以在不牺牲一致性的情况下更快地移动。与此同时，幻觉事实可以悄悄地进入报告、支持流程或研究成果。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
语言工作流程可以在不牺牲一致性的情况下更快地移动。
语言工作流程可以在不牺牲一致性的情况下更快地移动。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
它扩展了跨语言和沟通方式的访问。
它扩展了跨语言和沟通方式的访问。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
团队可以花更多时间进行判断，而自动化则可以处理重复。
团队可以花更多时间进行判断，而自动化则可以处理重复。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
添加特定于语言的适配器，以便可以专门用于斯瓦希里语等多语言模型，而无需重新训练整个网络。
在 SaaS 产品中维护一个基本模型以及数十个小型每客户适配器，并根据请求交换正确的适配器。
通过仅训练百分之几的适配器来微调情感分类模型，然后为其他任务保留共享的基础。
将任务适配器堆叠在域适配器之上（例如，合法文本适配器加摘要适配器）以进行模块化重用。
实施模式
实践中传输的适配器层
添加特定于语言的适配器，以便可以专门用于斯瓦希里语等多语言模型，而无需重新训练整个网络。
添加特定于语言的适配器，以便一个多语言模型可以专门用于斯瓦希里语等，而无需重新训练整个网络。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
实践中传输的适配器层
在 SaaS 产品中维护一个基本模型以及数十个小型每客户适配器，并根据请求交换正确的适配器。
在 SaaS 产品中维护一个基本模型以及数十个针对每个客户的小型适配器，在每个请求中交换正确的适配器 当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
实践中传输的适配器层
通过仅训练百分之几的适配器来微调情感分类模型，然后为其他任务保留共享的基础。
通过仅训练百分之几的适配器来微调情感分类模型，然后保持其他任务共享的基础。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
实践中传输的适配器层
将任务适配器堆叠在域适配器之上（例如，合法文本适配器加摘要适配器）以进行模块化重用。
将任务适配器堆叠在域适配器之上（例如，法律文本适配器加摘要适配器）以实现模块化重用 当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
在推出之前定义输出格式、语气和质量标准。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
当准确性很重要时，请使用可信来源进行地面响应。
当准确性很重要时，请使用可信来源进行地面响应。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
为高风险输出保留人工审查检查点。
为高风险输出保留人工审查检查点。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
跟踪故障模式并定期重新训练提示或工作流程。
跟踪故障模式并定期重新训练提示或工作流程。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。