概述
MAML、原型网络和爬虫是不同的研究方法；上下文学习是在大型语言模型中评估的相关小样本行为，而不是相同的训练过程。
深入探讨
MAML 通过少量梯度步骤学习可以适应新任务的初始化。原型网络在嵌入空间中形成类原型并按距离进行分类。 Reptile 是一种一阶算法，它将初始化转向在采样任务中学习到的参数。 Brown 等人的 GPT-3 论文通过在没有梯度更新的提示中放置演示来评估上下文中的小样本学习。这是快速适应的行为类比，而不是声称 GPT-3 是使用相同的元学习算法进行训练的。
现实世界的实施
将元训练拆分为具有支持和查询示例的任务。
使用 MAML 的特定于任务的内部循环来调整初始化。
按到原型网络类中心的距离对示例进行分类。
将 Reptile 的一阶更新与 GPT-3 的上下文演示进行比较，后者在推理时不使用梯度更新。
Meta 的未来 - 学习
比较保留任务的方法，指定支持/查询拆分、适应步骤和评估条件。引用的论文支持这些算法和实验，而不是广泛的产品预测或有关机器人技术、推荐或药物发现的部署的主张。
付诸实践
为什么这很重要
- 更清晰的判决. 它可以帮助您将清晰的技术声明与营销语言分开。
- 成本与预算. 在花费金钱或时间之前，您可以提出更好的实施问题。
- 团队与工作流程. 具有共同理解的团队可以做出更好的产品、政策和学习决策。
留意
- 不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
- 基准测试可能看起来很强大，但实际性能却参差不齐。
- 忽视数据质量和评估计划通常会产生脆弱的结果。
后续步骤
- 从您需要的结果的简单语言定义开始。
- 在测试之前选择一种成功指标和一种失败条件。
- 使用代表性数据运行小型试点，而不是完善的演示集。
- 记录Meta-学习在哪些方面有帮助以及哪些更简单的方法更好。
不断探索
常见问题
什么是Meta-学习？
Meta-学习研究模型参数或表示如何适应有限示例中的新任务。 MAML、原型网络和爬虫是不同的研究方法；上下文学习是在大型语言模型中评估的相关小样本行为，而不是相同的训练过程。
元学习或“学会学习”的主要目标是什么？
Meta-学习可以跨许多任务进行训练，因此模型只需少量示例就可以快速适应新任务。
在元训练期间，数据通常是如何构造的？
每个任务都提供一个小的支持集来适应，并提供一个查询集来评估适应，在许多任务中重复。
MAML 学到什么？
MAML 找到初始参数，在新任务上仅进行几个梯度步骤后，即可产生强大的性能。
原型网络如何对新示例进行分类？
原型网络计算每个类的原型（平均嵌入）并将每个查询分配给最近的原型。
MAML的内循环有什么作用？
内循环执行特定于任务的自适应，而外循环则更新参数以获得更好的整体适应性。