Microsoft Фи
Microsoft Phi е семейство от малки езикови модели, които доказват, че внимателното обработване на данни може да съперничи на грубата сила.
Преглед
By training on textbook-quality and synthetic data, tiny Phi models punch far above their parameter count.
Дълбоко гмуркане
Phi е Microsoft линия от малки езикови модели (SLM) на Research, стартирана през 2023 г. с Phi-1, модел за кодиране с 1,3 милиарда параметри. Водещата теза, заложена в заглавието на статията „Учебниците са всичко, от което се нуждаете“, е, че качеството на данните е по-важно от необработения размер. Вместо да изтрие цялата мрежа, Microsoft обучи Phi на подбрано, подобно на учебник съдържание плюс синтетични упражнения, генерирани от GPT-4. Последователните издания мащабират тази идея: Phi-2 (2.7B), Phi-3 (3.8B „мини“ до 14B „средно“) и Phi-3.5 с варианти за визия и комбинация от експерти. Въпреки размера си, моделите Phi съвпадат или побеждават много по-големи конкуренти по отношение на разсъждения и математически показатели и работят ефективно на лаптопи, телефони и крайни устройства. Моделите се пускат открито под разрешителни лицензи.
Техническа информация
Предимството на Phi идва от генерирането и филтрирането на синтетични данни. Microsoft използва по-големи модели като GPT-4, за да напише чисти, педагогически структурирани примери и да оценява уеб текста за „образователна стойност“, като запазва само документи с висок сигнал. Този плътен тренировъчен микс с нисък шум позволява на модел 3.8B да научи модели на разсъждение, които обикновено изискват десетки милиарди параметри. Phi-3-mini използва 4K или 128K контекстен прозорец и трансформаторна декодерна архитектура, подобна на Llama, което го прави лесен за внедряване със съществуващите инструменти.
Стратегическо въздействие
Vendor strategy
Пътните карти на доставчиците влияят на това какви функции вашият екип може да изгради по-нататък.
Cost and budget
Търговските условия и опциите за внедряване влияят върху дългосрочните разходи и риск.
Risk and safety
Стимулите на компанията оформят продуктовите стандарти, безопасността и откритостта.
Бъдещето на Microsoft Phi
Microsoft тласка Phi към използване на устройства и агенти, където латентността, поверителността и разходите изключват облачните гиганти. Очаквайте по-тясна интеграция с Windows и Copilot+ PC, по-силни мултимодални (визия и аудио) варианти и продължителна комбинация от експертни дизайни, които активират само малка част от параметрите на токен. По-широката тенденция, която Phi потвърждава, че интелигентните данни побеждават чистия мащаб, променя начина, по който цялата индустрия обучава модели, особено за телефони, IoT и офлайн сценарии, където малките, способни модели печелят.
Внедряване в реалния свят
Стартиране на асистент за офлайн кодиране директно на лаптоп без изпращане на код в облака
Захранване на функции на устройството в компютри Copilot+ и мобилни приложения, където ниската латентност е от значение
Вграждане на модел на разсъждение в IoT или edge хардуер с ограничена памет и без интернет
Изследователи прецизират евтино малък, открито лицензиран модел Phi за специфичен за домейн чатбот
Рискове и предпазни огради
Съобщенията за стартиране може да изпреварят стабилността в реалните производствени работни процеси.
Ценообразуването на API или промените в политиката могат да разбият предположенията за една нощ.
Зависимостта от един доставчик увеличава разходите за заключване и миграция.
Пътна карта за изпълнение
Оценявайте доставчиците, като използвате вашите собствени задачи и набори от данни.
Прегледайте поверителността, сигурността и правните условия преди интегриране.
Поддържайте резервен план за модели или доставчици.
Наблюдавайте бележките по изданието, така че промените в пътната карта да не изненадват екипите.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Microsoft Phi quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Microsoft AI
Frequently asked questions
What is Microsoft Phi?
Microsoft Phi е семейство от малки езикови модели, които доказват, че внимателното обработване на данни може да съперничи на грубата сила. Чрез обучение с качество на учебника и синтетични данни, малките модели Phi достигат далеч над своя брой параметри.
Каква е основната теза зад моделите Phi, запечатана в известно заглавие на статия?
Документът Phi-1 беше озаглавен „Учебниците са всичко, от което се нуждаете“, като се аргументира, че висококачествените, подбрани данни са по-важни от чистия мащаб.
Приблизително колко параметъра има Phi-3-mini?
Phi-3-mini има около 3,8 милиарда параметри, което го прави достатъчно малък, за да работи на телефон, като същевременно се представя добре.
Как Microsoft генерира голяма част от данните за обучение на Phi?
Microsoft използва мощни модели като GPT-4 за генериране на чисти синтетични упражнения и за филтриране на уеб текст за образователна стойност.
За коя категория модел се отнася „SLM“, както се използва за Phi?
Phi се описва като малък езиков модел (SLM), подчертаващ възможностите при компактен размер.
Какво е основното практическо предимство на малкия размер на Phi?
Тъй като моделите Phi са компактни, те могат да работят локално на потребителски хардуер, позволявайки поверителност, ниска латентност и офлайн употреба.