Microsoft 菲
Microsoft Phi 是一系列小型語言模型，證明仔細的資料管理可以與暴力規模相媲美。
概述
By training on textbook-quality and synthetic data, tiny Phi models punch far above their parameter count.
深入探討
Phi 是 Microsoft Research 於 2023 年推出的小語言模型 (SLM) 系列，其中 Phi-1 是一個 13 億參數的編碼模型。論文標題「教科書就是你所需要的」中所體現的指導思想是，數據品質比原始大小更重要。 Microsoft 沒有抓取整個網絡，而是使用精心策劃的、類似教科書的內容以及 GPT-4 生成的綜合練習來訓練 Phi。後續版本擴展了這個想法：Phi-2 (2.7B)、Phi-3（3.8B「迷你」至 14B「中型」）和視覺和混合專家變體的 Phi-3.5。儘管 Phi 模型規模很大，但它在推理和數學基準方面可以與更大的競爭對手相媲美或擊敗，並且它們可以在筆記型電腦、手機和邊緣設備上高效運行。這些模型是在許可下公開發布的。
技術洞察
Phi 的優勢來自於合成資料產生和過濾。 Microsoft 使用 GPT-4 等更大的模型來編寫乾淨的、具有教學結構的範例，並對網路文本的「教育價值」進行評分，僅保留高訊號文件。這種密集、低噪音的訓練組合讓 3.8B 模型能夠學習通常需要數百億個參數的推理模式。 Phi-3-mini 使用 4K 或 128K 上下文視窗以及類似於 Llama 的轉換器解碼器架構，可以輕鬆使用現有工具進行部署。
戰略影響
供應商策略
供應商路線圖會影響您的團隊接下來可以建立的功能。
成本與預算
商業條款和部署選項會影響長期成本和風險。
風險與安全
公司激勵措施塑造了產品預設、安全態勢和開放性。
Microsoft Phi 的未來
Microsoft 正在將 Phi 推向設備和代理用途，其中延遲、隱私和成本排除了雲端巨頭。預計將有更緊密的 Windows 和 Copilot+ PC 整合、更強大的多模式（視覺和音訊）變體以及持續的專家混合設計（每個令牌僅激活一小部分參數）。 Phi 證實了更廣泛的趨勢，即智慧數據戰勝了絕對規模，正在重塑整個行業訓練模型的方式，特別是對於手機、物聯網和離線場景，小型、有能力的模型會獲勝。
現實世界的實施
直接在筆記型電腦上運行離線編碼助手，無需將程式碼傳送到雲端
為 Copilot+ PC 和行動應用程式中低延遲至關重要的設備上功能提供支持
將推理模型嵌入到記憶體有限且沒有互聯網的物聯網或邊緣硬體中
研究人員以低廉的成本微調小型、公開授權的 Phi 模型，用於特定領域的聊天機器人
風險與防護欄
發佈公告可能會超過實際生產工作流程的穩定性。
API 定價或政策轉變可能會在一夜之間打破假設。
單一供應商依賴性增加了鎖定和遷移成本。
實施路線圖
使用您自己的任務和資料集評估提供者。
在整合之前查看隱私、安全和法律條款。
維護跨模型或供應商的後備計劃。
監控發行說明，以便路線圖的變更不會讓團隊感到意外。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Microsoft Phi quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Microsoft Phi?
Microsoft Phi 是一系列小型語言模型，證明仔細的資料管理可以與暴力規模相媲美。透過對教科書品質和合成資料進行訓練，微型 Phi 模型的參數數量遠遠超過其參數數量。
著名論文標題所體現的 Phi 模型背後的核心論點是什麼？
Phi-1 論文的標題是“教科書就是你所需要的”，認為高品質、精心策劃的數據比純粹的規模更重要。
Phi-3-mini 大約有多少個參數？
Phi-3-mini 擁有約 38 億個參數，使其足夠小，可以在手機上運行，同時仍具有強勁的性能。
Microsoft 如何產生 Phi 的大部分訓練資料？
Microsoft 使用 GPT-4 等強大的模型來產生乾淨的綜合練習並過濾網路文本以獲取教育價值。
用於 Phi 的「SLM」指的是哪一類模型？
Phi 被描述為小型語言模型 (SLM)，強調緊湊尺寸的功能。
Phi 小尺寸的主要實際優勢是什麼？
由於 Phi 模型結構緊湊，因此它們可以在消費性硬體上本地運行，從而實現隱私、低延遲和離線使用。