Microsoft Phi
Microsoft Phi je rodina malých jazykových modelů, které dokazují, že pečlivé zpracování dat může konkurovat měřítku hrubé síly.
Přehled
By training on textbook-quality and synthetic data, tiny Phi models punch far above their parameter count.
Hluboký ponor
Phi je Microsoft řada malých jazykových modelů (SLM) společnosti Research zahájená v roce 2023 s Phi-1, modelem kódování s 1,3 miliardami parametrů. Hlavní tezí, zachycenou v názvu článku „Učebnice jsou vše, co potřebujete“, je, že na kvalitě dat záleží více než na hrubé velikosti. Namísto škrábání celého webu Microsoft trénoval Phi na kurátorském obsahu podobném učebnici plus syntetická cvičení generovaná GPT-4. Postupné verze tuto myšlenku škálovaly: Phi-2 (2,7B), Phi-3 (3,8B „mini“ až 14B „střední“) a Phi-3,5 s variantami vize a směsi odborníků. Navzdory své velikosti se modely Phi vyrovnají nebo porazí mnohem větší konkurenty v uvažování a matematických testech a fungují efektivně na noteboocích, telefonech a okrajových zařízeních. Modely jsou otevřeně uvolněny na základě permisivních licencí.
Technický přehled
Předností Phi je syntetické generování a filtrování dat. Microsoft používá větší modely, jako je GPT-4, k psaní čistých, pedagogicky strukturovaných příkladů a hodnocení webového textu z hlediska „vzdělávací hodnoty“, přičemž zachovává pouze dokumenty s vysokým signálem. Tento hutný tréninkový mix s nízkou hlučností umožňuje 3,8B modelu naučit se vzorce uvažování, které běžně vyžadují desítky miliard parametrů. Phi-3-mini využívá kontextové okno 4K nebo 128K a architekturu dekodéru transformátoru podobnou Llama, což usnadňuje nasazení se stávajícími nástroji.
Strategický dopad
Strategie dodavatelů
Plány dodavatelů ovlivňují, jaké funkce může váš tým dále vybudovat.
Cena a rozpočet
Komerční podmínky a možnosti nasazení ovlivňují dlouhodobé náklady a rizika.
Riziko a bezpečnost
Firemní pobídky utvářejí výchozí produkty, bezpečný postoj a otevřenost.
Budoucnost Microsoft Phi
Microsoft posouvá Phi směrem k použití na zařízení a agentům, kde latence, soukromí a náklady vylučují cloudové giganty. Očekávejte těsnější integraci Windows a Copilot+ PC, silnější multimodální (vizuální a audio) varianty a pokračující návrhy směsi odborníků, které aktivují pouze zlomek parametrů na token. Širší trend, který Phi ověřuje, že chytrá data překonávají naprosté měřítko, mění způsob, jakým celé odvětví trénuje modely, zejména pro telefony, internet věcí a offline scénáře, kde vítězí malé schopné modely.
Real-World Implementace
Spuštění offline asistenta kódování přímo na notebooku bez odesílání kódu do cloudu
Zapnutí funkcí na zařízení v počítačích Copilot+ a mobilních aplikacích, kde záleží na nízké latenci
Vložení modelu uvažování do IoT nebo hraničního hardwaru s omezenou pamětí a bez internetu
Výzkumníci levně dolaďují malý model Phi s otevřenou licencí pro doménového chatbota
Rizika a zábradlí
Oznámení o uvedení mohou předstihnout stabilitu v reálných výrobních pracovních postupech.
Změny cen API nebo politik mohou přes noc narušit předpoklady.
Závislost na jediném dodavateli zvyšuje náklady na uzamčení a migraci.
Plán implementace
Vyhodnoťte poskytovatele pomocí vlastních úkolů a datových sad.
Před integrací si přečtěte podmínky ochrany soukromí, zabezpečení a právní podmínky.
Udržujte záložní plán napříč modely nebo dodavateli.
Sledujte poznámky k vydání, aby změny plánu nepřekvapily týmy.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Microsoft Phi quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další průvodce
Microsoft AI
Často kladené otázky
What is Microsoft Phi?
Microsoft Phi je rodina malých jazykových modelů, které dokazují, že pečlivé zpracování dat může konkurovat měřítku hrubé síly. Díky školení na učebnicové kvalitě a syntetických datech dosahují malé modely Phi daleko nad svými parametry.
Jaká je hlavní teze za modely Phi, zachycená ve slavném papírovém titulu?
Dokument Phi-1 byl nazván „Učebnice jsou vše, co potřebujete“ a tvrdil, že na vysoce kvalitních a kurátorských datech záleží více než na pouhém měřítku.
Kolik parametrů má zhruba Phi-3-mini?
Phi-3-mini má asi 3,8 miliardy parametrů, díky čemuž je dostatečně malý na to, aby běžel na telefonu a přitom stále fungoval dobře.
Jak Microsoft generuje většinu tréninkových dat Phi?
Microsoft používá výkonné modely, jako je GPT-4, ke generování čistých syntetických cvičení a k filtrování webového textu pro vzdělávací hodnotu.
Jakou kategorii modelu označuje „SLM“, jak se používá pro Phi?
Phi je popisován jako malý jazykový model (SLM), zdůrazňující schopnosti při kompaktní velikosti.
Jaká je klíčová praktická výhoda malých rozměrů Phi?
Vzhledem k tomu, že modely Phi jsou kompaktní, mohou běžet lokálně na spotřebitelském hardwaru, což umožňuje soukromí, nízkou latenci a offline použití.