基础知识指南

少样本学习

少样本学习是指从少数而不是数千个示例中学习新任务的能力。

概述

少样本学习是指从少数而不是数千个示例中学习新任务的能力。这很重要,因为它反映了人类的概括方式,并让现代人工智能能够立即适应,而无需昂贵的再培训。

Few-Shot Learning 位于核心人工智能工具包中。当你理解它时,其他人工智能主题就变得更容易评估和比较。

深入探讨

传统的机器学习需要巨大的标记数据集,但少样本学习的目标是在每个类仅看到几个示例后表现良好。大型语言模型普及了上下文中的小样本学习:您直接在提示中放置一些输入输出示例,模型会推断出模式并将其应用于新的输入,所有这些都无需更新其权重。该术语来自对显示的示例进行计数,通常写为 N-way K-shot(N 个类,每个类有 K 个示例)。零样本意味着没有例子,一样本意味着一个,而少样本通常意味着两个到几十个。这是有效的,因为模型在预训练期间已经吸收了广泛的模式,因此一些示例主要提示要使用哪些现有技能。

技术洞察

上下文中的小样本学习依赖于 Transformer 阅读提示中的示例并使用注意力来匹配模式,没有梯度更新或权重变化。这些示例限制了模型对新输入的下一个标记预测。一个单独的系列、基于度量的方法(例如原型网络和匹配网络)会学习嵌入空间,在其中将新样本与每个类的几个示例的平均值进行比较并选择最接近的。两条路线都利用了先前的学习,因此稀缺标签大有帮助。

掌握小样本学习

少样本学习是指从少数而不是数千个示例中学习新任务的能力。这很重要,因为它反映了人类的概括方式,并让现代人工智能能够立即适应,而无需昂贵的再培训。 Few-Shot Learning 位于核心人工智能工具包中。当你理解它时,其他人工智能主题就变得更容易评估和比较。为了建立深入的理解,请将少样本学习视为一种操作模型,而不是单一功能:定义期望的结果,澄清假设,并将系统可以可靠地完成的任务与仍然需要专家判断的任务分开。

在实践中,使用少样本学习的强大团队首先构建强大的概念模型,然后将这些模型映射到实际的生产约束。他们记录明确的成功标准,根据实际数据和工作流程进行测试,并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。

它可以帮助您将清晰的技术声明与营销语言分开。同时,不同的团队可能会以不同的方式使用同一术语,因此请尽早定义范围。最具弹性的方法是将实验速度与治理规则结合起来:运行试点、捕获证据、发布决策日志,并随着模型行为、用户期望和监管要求的发展不断更新保障措施。

战略影响

它可以帮助您将清晰的技术声明与营销语言分开。

它可以帮助您将清晰的技术声明与营销语言分开。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

在花费金钱或时间之前,您可以提出更好的实施问题。

在花费金钱或时间之前,您可以提出更好的实施问题。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

具有共同理解的团队可以做出更好的产品、政策和学习决策。

具有共同理解的团队可以做出更好的产品、政策和学习决策。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

少样本学习的未来

小样本学习正在成为人们使用大型模型的默认方式,因此前沿技术正在使其变得更加可靠:更好的示例选择、排序和检索,因此提示会自动选择最有用的演示。期望与检索更紧密地集成,以及适合更多示例的更长上下文窗口,以及对示例顺序和格式摆动准确性为何如此之高的研究。随着模型的改进,零样本和少样本之间的差距缩小了,以完成简单的任务,而少样本对于特殊格式和边缘情况仍然很有价值。

现实世界的实施

在提示中显示模型后,将客户支持票证分类为每个类别的三个或四个带标签的示例。

通过提供两个或三个示例输入输出对来教聊天机器人特定的输出格式(例如带有命名字段的 JSON)。

使用视觉系统中的原型网络从少数拍摄的样品中识别罕见的制造缺陷。

通过在请求中包含几个前后示例,调整翻译或摘要风格以匹配品牌的声音。

实施模式

实践中的少样本学习

在提示中显示模型后,将客户支持票证分类为每个类别的三个或四个带标签的示例。

在显示模型后将客户支持工单分类为提示中每个类别的三个或四个标记示例,当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会获得更好的结果。

实践中的少样本学习

通过提供两个或三个示例输入输出对来教聊天机器人特定的输出格式(例如带有命名字段的 JSON)。

通过提供两到三个示例输入输出对来教导聊天机器人特定的输出格式(例如带有命名字段的 JSON)。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时,通常会获得更好的结果。

实践中的少样本学习

使用视觉系统中的原型网络从少数拍摄的样品中识别罕见的制造缺陷。

使用视觉系统中的原型网络从少数拍摄的样品中识别罕见的制造缺陷当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会获得更好的结果。

实践中的少样本学习

通过在请求中包含几个前后示例,调整翻译或摘要风格以匹配品牌的声音。

通过在请求中包含几个前后示例来调整翻译或摘要风格以匹配品牌的声音。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会得到更好的结果。

风险与防护栏

!

不同的团队可能会以不同的方式使用同一术语,因此请尽早定义范围。

!

基准测试可能看起来很强大,但实际性能却参差不齐。

!

忽视数据质量和评估计划通常会产生脆弱的结果。

实施路线图

1

从您需要的结果的简单语言定义开始。

从您需要的结果的简单语言定义开始。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

2

在测试之前选择一种成功指标和一种失败条件。

在测试之前选择一种成功指标和一种失败条件。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

3

使用代表性数据运行小型试点,而不是完善的演示集。

使用代表性数据运行小型试点,而不是完善的演示集。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

4

记录少样本学习在哪些方面有帮助以及在哪些方面更简单的方法更好。

记录少样本学习在哪些方面有帮助以及在哪些方面更简单的方法更好。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

不断探索