Microsoft 菲
Microsoft Phi 是一系列小型语言模型，证明仔细的数据管理可以与暴力规模相媲美。
概述
By training on textbook-quality and synthetic data, tiny Phi models punch far above their parameter count.
深入探讨
Phi 是 Microsoft Research 于 2023 年推出的小语言模型 (SLM) 系列，其中 Phi-1 是一个 13 亿参数的编码模型。论文标题“教科书就是你所需要的”中所体现的指导思想是，数据质量比原始大小更重要。 Microsoft 没有抓取整个网络，而是使用精心策划的、类似教科书的内容以及 GPT-4 生成的综合练习来训练 Phi。后续版本扩展了这一想法：Phi-2 (2.7B)、Phi-3（3.8B“迷你”至 14B“中型”）和具有视觉和混合专家变体的 Phi-3.5。尽管 Phi 模型规模很大，但它在推理和数学基准方面可以与更大的竞争对手相媲美或击败，并且它们可以在笔记本电脑、手机和边缘设备上高效运行。这些模型是在许可下公开发布的。
技术洞察
Phi 的优势来自于合成数据生成和过滤。 Microsoft 使用 GPT-4 等更大的模型来编写干净的、具有教学结构的示例，并对网络文本的“教育价值”进行评分，仅保留高信号文档。这种密集、低噪声的训练组合让 3.8B 模型能够学习通常需要数百亿个参数的推理模式。 Phi-3-mini 使用 4K 或 128K 上下文窗口以及类似于 Llama 的转换器解码器架构，可以轻松使用现有工具进行部署。
战略影响
供应商策略
供应商路线图会影响您的团队接下来可以构建的功能。
成本与预算
商业条款和部署选项会影响长期成本和风险。
风险与安全
公司激励措施塑造了产品默认、安全态势和开放性。
Microsoft Phi 的未来
Microsoft 正在将 Phi 推向设备上和代理用途，其中延迟、隐私和成本排除了云巨头。预计将有更紧密的 Windows 和 Copilot+ PC 集成、更强大的多模式（视觉和音频）变体以及持续的专家混合设计（每个令牌仅激活一小部分参数）。 Phi 证实了更广泛的趋势，即智能数据战胜了绝对规模，正在重塑整个行业训练模型的方式，特别是对于手机、物联网和离线场景，小型、有能力的模型会获胜。
现实世界的实施
直接在笔记本电脑上运行离线编码助手，无需将代码发送到云端
为 Copilot+ PC 和移动应用程序中低延迟至关重要的设备上功能提供支持
将推理模型嵌入到内存有限且没有互联网的物联网或边缘硬件中
研究人员以低廉的成本微调小型、公开许可的 Phi 模型，用于特定领域的聊天机器人
风险与防护栏
发布公告可能会超过实际生产工作流程的稳定性。
API 定价或政策转变可能会在一夜之间打破假设。
单一供应商依赖性增加了锁定和迁移成本。
实施路线图
使用您自己的任务和数据集评估提供商。
在集成之前查看隐私、安全和法律条款。
维护跨模型或供应商的后备计划。
监控发行说明，以便路线图的更改不会让团队感到意外。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Microsoft Phi quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Microsoft Phi?
Microsoft Phi 是一系列小型语言模型，证明仔细的数据管理可以与暴力规模相媲美。通过对教科书质量和合成数据进行训练，微型 Phi 模型的参数数量远远超过其参数数量。
著名论文标题中所体现的 Phi 模型背后的核心论点是什么？
Phi-1 论文的标题是“教科书就是你所需要的”，认为高质量、精心策划的数据比纯粹的规模更重要。
Phi-3-mini 大约有多少个参数？
Phi-3-mini 拥有约 38 亿个参数，使其足够小，可以在手机上运行，同时仍然具有强劲的性能。
Microsoft 如何生成 Phi 的大部分训练数据？
Microsoft 使用 GPT-4 等强大的模型来生成干净的综合练习并过滤网络文本以获取教育价值。
用于 Phi 的“SLM”指的是哪一类模型？
Phi 被描述为小型语言模型 (SLM)，强调紧凑尺寸的功能。
Phi 小尺寸的主要实际优势是什么？
由于 Phi 模型结构紧凑，因此它们可以在消费类硬件上本地运行，从而实现隐私、低延迟和离线使用。