概述
Microsoft Phi 是一系列小型语言模型，证明仔细的数据管理可以与暴力规模相媲美。通过对教科书质量和合成数据进行训练，微型 Phi 模型的参数数量远远超过其参数数量。
Microsoft Phi 在战略、模型访问、平台决策和生态系统合作伙伴关系的背景下得到最好的理解。
深入探讨
Phi 是 Microsoft Research 于 2023 年推出的小语言模型 (SLM) 系列，其中 Phi-1 是一个 13 亿参数的编码模型。论文标题“教科书就是你所需要的”中所体现的指导思想是，数据质量比原始大小更重要。 Microsoft 没有抓取整个网络，而是使用精心策划的、类似教科书的内容以及 GPT-4 生成的综合练习来训练 Phi。后续版本扩展了这一想法：Phi-2 (2.7B)、Phi-3（3.8B“迷你”至 14B“中型”）和具有视觉和混合专家变体的 Phi-3.5。尽管 Phi 模型规模很大，但它在推理和数学基准方面可以与更大的竞争对手相媲美或击败，并且它们可以在笔记本电脑、手机和边缘设备上高效运行。这些模型是在许可下公开发布的。
技术洞察
Phi 的优势来自于合成数据生成和过滤。 Microsoft 使用 GPT-4 等更大的模型来编写干净的、具有教学结构的示例，并对网络文本的“教育价值”进行评分，仅保留高信号文档。这种密集、低噪声的训练组合让 3.8B 模型能够学习通常需要数百亿个参数的推理模式。 Phi-3-mini 使用 4K 或 128K 上下文窗口以及类似于 Llama 的转换器解码器架构，可以轻松使用现有工具进行部署。
掌握 Microsoft Phi
Microsoft Phi 是一系列小型语言模型，证明仔细的数据管理可以与暴力规模相媲美。通过对教科书质量和合成数据进行训练，微型 Phi 模型的参数数量远远超过其参数数量。 Microsoft Phi 在战略、模型访问、平台决策和生态系统合作伙伴关系的背景下得到最好的理解。为了建立深入的理解，请将 Microsoft Phi 视为一种操作模型，而不是单个功能：定义所需的结果，澄清假设，并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。
在实践中，使用 Microsoft Phi 的强大团队在提交之前会评估供应商策略、路线图可靠性和锁定风险。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
供应商路线图会影响您的团队接下来可以构建的功能。与此同时，发布公告可能会超过实际生产工作流程的稳定性。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
供应商路线图会影响您的团队接下来可以构建的功能。
供应商路线图会影响您的团队接下来可以构建的功能。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
商业条款和部署选项会影响长期成本和风险。
商业条款和部署选项会影响长期成本和风险。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
公司激励措施塑造了产品默认、安全态势和开放性。
公司激励措施塑造了产品默认、安全态势和开放性。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
直接在笔记本电脑上运行离线编码助手，无需将代码发送到云端
为 Copilot+ PC 和移动应用程序中低延迟至关重要的设备上功能提供支持
将推理模型嵌入到内存有限且没有互联网的物联网或边缘硬件中
研究人员以低廉的成本微调小型、公开许可的 Phi 模型，用于特定领域的聊天机器人
实施模式
Microsoft Phi 实践
直接在笔记本电脑上运行离线编码助手，无需将代码发送到云端。
直接在笔记本电脑上运行离线编码助手，无需将代码发送到云端 当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
Microsoft Phi 实践
为 Copilot+ PC 和移动应用程序中低延迟至关重要的设备上功能提供支持。
在低延迟很重要的 Copilot+ PC 和移动应用程序中支持设备上的功能 当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
Microsoft Phi 实践
将推理模型嵌入到内存有限且没有互联网的物联网或边缘硬件中。
将推理模型嵌入内存有限且没有互联网的物联网或边缘硬件中 团队在预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
Microsoft Phi 实践
研究人员以低廉的成本对特定领域聊天机器人的小型、公开许可的 Phi 模型进行了微调。
研究人员以低廉的成本为特定领域的聊天机器人微调小型、公开许可的 Phi 模型。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会获得更好的结果。
风险与防护栏
发布公告可能会超过实际生产工作流程的稳定性。
API 定价或政策转变可能会在一夜之间打破假设。
单一供应商依赖性增加了锁定和迁移成本。
实施路线图
使用您自己的任务和数据集评估提供商。
使用您自己的任务和数据集评估提供商。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在集成之前查看隐私、安全和法律条款。
在集成之前查看隐私、安全和法律条款。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
维护跨模型或供应商的后备计划。
维护跨模型或供应商的后备计划。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
监控发行说明，以便路线图的更改不会让团队感到意外。
监控发行说明，以便路线图的更改不会让团队感到意外。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。