概述
Microsoft Phi 是一系列小型語言模型，證明仔細的資料管理可以與暴力規模相媲美。透過對教科書品質和合成資料進行訓練，微型 Phi 模型的參數數量遠遠超過其參數數量。
Microsoft Phi 在策略、模型存取、平台決策和生態系統合作夥伴關係的背景下得到最好的理解。
深入探討
Phi 是 Microsoft Research 於 2023 年推出的小語言模型 (SLM) 系列，其中 Phi-1 是一個 13 億參數的編碼模型。論文標題「教科書就是你所需要的」中所體現的指導思想是，數據品質比原始大小更重要。 Microsoft 沒有抓取整個網絡，而是使用精心策劃的、類似教科書的內容以及 GPT-4 生成的綜合練習來訓練 Phi。後續版本擴展了這個想法：Phi-2 (2.7B)、Phi-3（3.8B「迷你」至 14B「中型」）和視覺和混合專家變體的 Phi-3.5。儘管 Phi 模型規模很大，但它在推理和數學基準方面可以與更大的競爭對手相媲美或擊敗，並且它們可以在筆記型電腦、手機和邊緣設備上高效運行。這些模型是在許可下公開發布的。
技術洞察
Phi 的優勢來自於合成資料產生和過濾。 Microsoft 使用 GPT-4 等更大的模型來編寫乾淨的、具有教學結構的範例，並對網路文本的「教育價值」進行評分，僅保留高訊號文件。這種密集、低噪音的訓練組合讓 3.8B 模型能夠學習通常需要數百億個參數的推理模式。 Phi-3-mini 使用 4K 或 128K 上下文視窗以及類似於 Llama 的轉換器解碼器架構，可以輕鬆使用現有工具進行部署。
掌握 Microsoft Phi
Microsoft Phi 是一系列小型語言模型，證明仔細的資料管理可以與暴力規模相媲美。透過對教科書品質和合成資料進行訓練，微型 Phi 模型的參數數量遠遠超過其參數數量。 Microsoft Phi 在策略、模型存取、平台決策和生態系統合作夥伴關係的背景下得到最好的理解。為了建立深入的理解，請將 Microsoft Phi 視為一種操作模型，而不是單一功能：定義所需的結果，澄清假設，並將系統可以可靠地執行的操作與仍需要專家判斷的操作分開。
在實踐中，使用 Microsoft Phi 的強大團隊在提交之前會評估供應商策略、路線圖可靠性和鎖定風險。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
供應商路線圖會影響您的團隊接下來可以建立的功能。同時，發佈公告可能會超過實際生產工作流程的穩定性。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
供應商路線圖會影響您的團隊接下來可以建立的功能。
供應商路線圖會影響您的團隊接下來可以建立的功能。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
商業條款和部署選項會影響長期成本和風險。
商業條款和部署選項會影響長期成本和風險。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
公司激勵措施塑造了產品預設、安全態勢和開放性。
公司激勵措施塑造了產品預設、安全態勢和開放性。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
直接在筆記型電腦上運行離線編碼助手，無需將程式碼傳送到雲端
為 Copilot+ PC 和行動應用程式中低延遲至關重要的設備上功能提供支持
將推理模型嵌入到記憶體有限且沒有互聯網的物聯網或邊緣硬體中
研究人員以低廉的成本微調小型、公開授權的 Phi 模型，用於特定領域的聊天機器人
實施模式
Microsoft Phi 實踐
直接在筆記型電腦上執行離線編碼助手，無需將程式碼傳送到雲端。
直接在筆記型電腦上運行離線編碼助手，無需將程式碼傳送到雲端 當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
Microsoft Phi 實踐
為 Copilot+ PC 和行動應用程式中低延遲至關重要的裝置上功能提供支援。
在低延遲很重要的 Copilot+ PC 和行動應用程式中支援設備上的功能 當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
Microsoft Phi 實踐
將推理模型嵌入到記憶體有限且沒有互聯網的物聯網或邊緣硬體中。
將推理模型嵌入內存有限且沒有互聯網的物聯網或邊緣硬體中 團隊在預先定義質量閾值、為邊緣情況保留人工升級路徑並隨著時間的推移跟踪生產力增益和錯誤成本時，通常會獲得更好的結果。
Microsoft Phi 實踐
研究人員以低廉的成本對特定領域聊天機器人的小型、公開許可的 Phi 模型進行了微調。
研究人員以低廉的成本為特定領域的聊天機器人微調小型、公開授權的 Phi 模型。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力增益和錯誤成本時，通常會獲得更好的結果。
風險與防護欄
發佈公告可能會超過實際生產工作流程的穩定性。
API 定價或政策轉變可能會在一夜之間打破假設。
單一供應商依賴性增加了鎖定和遷移成本。
實施路線圖
使用您自己的任務和資料集評估提供者。
使用您自己的任務和資料集評估提供者。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
在整合之前查看隱私、安全和法律條款。
在整合之前查看隱私、安全和法律條款。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
維護跨模型或供應商的後備計劃。
維護跨模型或供應商的後備計劃。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
監控發行說明，以便路線圖的變更不會讓團隊感到意外。
監控發行說明，以便路線圖的變更不會讓團隊感到意外。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。