Microsoft Phi
Microsoft Phi to rodzina małych modeli językowych, które dowodzą, że staranne przetwarzanie danych może konkurować ze skalą brutalnej siły.
Przegląd
By training on textbook-quality and synthetic data, tiny Phi models punch far above their parameter count.
Głębokie nurkowanie
Phi to Microsoft linia małych modeli językowych (SLM) firmy Research wprowadzona na rynek w 2023 r. z Phi-1, modelem kodowania zawierającym 1,3 miliarda parametrów. Teza przewodnia zawarta w tytule artykułu „Podręczniki to wszystko, czego potrzebujesz” głosi, że jakość danych ma większe znaczenie niż ich rozmiar. Zamiast przeszukiwać całą sieć, Microsoft przeszkolił Phi na podstawie wyselekcjonowanych treści przypominających podręcznik oraz ćwiczeń syntetycznych generowanych przez GPT-4. Kolejne wydania rozszerzały ten pomysł: Phi-2 (2,7B), Phi-3 (3,8B „mini” do 14B „średni”) i Phi-3.5 z wariantami wizyjnymi i mieszanymi. Pomimo swoich rozmiarów modele Phi dorównują lub pokonują znacznie większych konkurentów w testach porównawczych rozumowania i matematyki, a ponadto działają wydajnie na laptopach, telefonach i urządzeniach brzegowych. Modele są udostępniane publicznie na liberalnych licencjach.
Wgląd techniczny
Przewaga Phi pochodzi z syntetycznego generowania i filtrowania danych. Microsoft używa większych modeli, takich jak GPT-4, do pisania przejrzystych przykładów o strukturze pedagogicznej i oceniania tekstów internetowych pod kątem „wartości edukacyjnej”, zachowując wyłącznie dokumenty o wysokim sygnale. Ta gęsta, cicha mieszanka treningowa pozwala modelowi 3,8B nauczyć się wzorców rozumowania, które zwykle wymagają dziesiątek miliardów parametrów. Phi-3-mini wykorzystuje okno kontekstowe 4K lub 128K i architekturę dekodera transformatorowego podobną do Llama, dzięki czemu można go łatwo wdrożyć za pomocą istniejących narzędzi.
Wpływ strategiczny
Strategia dostawcy
Plany dostawców wpływają na to, jakie funkcje Twój zespół będzie mógł dalej tworzyć.
Koszt i budżet
Warunki handlowe i opcje wdrożenia wpływają na długoterminowe koszty i ryzyko.
Ryzyko i bezpieczeństwo
Zachęty firmowe kształtują wady produktów, postawę bezpieczeństwa i otwartość.
Przyszłość Microsoft Phi
Microsoft zmusza Phi do zastosowań na urządzeniach i agentów, gdzie opóźnienia, prywatność i koszty wykluczają gigantów w chmurze. Spodziewaj się ściślejszej integracji z komputerem PC z systemem Windows i Copilot+, silniejszych wariantów multimodalnych (wizja i dźwięk) oraz ciągłych projektów opartych na mieszankach ekspertów, które aktywują tylko ułamek parametrów na token. Szerszy trend, który potwierdza Phi, że inteligentne dane pokonują samą skalę, zmienia sposób, w jaki cała branża szkoli modele, szczególnie w przypadku telefonów, Internetu Rzeczy i scenariuszy offline, w których wygrywają małe, zdolne modele.
Implementacja w świecie rzeczywistym
Uruchamianie asystenta kodowania offline bezpośrednio na laptopie bez wysyłania kodu do chmury
Włączanie funkcji na urządzeniach w komputerach Copilot+ i aplikacjach mobilnych, gdzie liczy się małe opóźnienie
Osadzanie modelu rozumowania w IoT lub sprzęcie brzegowym z ograniczoną pamięcią i brakiem Internetu
Naukowcy tanio dostrajają mały model Phi na otwartej licencji dla chatbota specyficznego dla domeny
Zagrożenia i poręcze
Ogłoszenia o wprowadzeniu na rynek mogą przekroczyć stabilność w rzeczywistych przepływach pracy.
Ceny interfejsów API lub zmiany zasad mogą z dnia na dzień złamać założenia.
Zależność od jednego dostawcy zwiększa koszty uzależnienia i migracji.
Plan wdrożenia
Oceniaj dostawców, korzystając z własnych zadań i zbiorów danych.
Przed integracją przejrzyj warunki dotyczące prywatności, bezpieczeństwa i prawa.
Utrzymuj plan awaryjny dla różnych modeli i dostawców.
Monitoruj informacje o wersji, aby zmiany w planie działania nie zaskoczyły zespołów.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Microsoft Phi quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Microsoft AI
Często zadawane pytania
What is Microsoft Phi?
Microsoft Phi to rodzina małych modeli językowych, które dowodzą, że staranne przetwarzanie danych może konkurować ze skalą brutalnej siły. Dzięki szkoleniu na podręcznikowej jakości i danych syntetycznych maleńkie modele Phi osiągają wyniki znacznie przekraczające ich liczbę parametrów.
Jaka jest podstawowa teza modeli Phi, ujęta w słynnym tytule artykułu?
Artykuł Phi-1 zatytułowano „Podręczniki są wszystkim, czego potrzebujesz”, w którym argumentowano, że wysokiej jakości, starannie opracowane dane mają większe znaczenie niż sama skala.
Ile mniej więcej parametrów ma Phi-3-mini?
Phi-3-mini ma około 3,8 miliarda parametrów, dzięki czemu jest wystarczająco mały, aby działać na telefonie, a jednocześnie zapewnia wysoką wydajność.
W jaki sposób Microsoft generuje większość danych treningowych Phi?
Microsoft wykorzystuje zaawansowane modele, takie jak GPT-4, do generowania czystych ćwiczeń syntetycznych i filtrowania tekstu internetowego pod kątem wartości edukacyjnej.
Do jakiej kategorii modelu odnosi się „SLM” w odniesieniu do Phi?
Phi jest opisywany jako model małego języka (SLM), kładący nacisk na możliwości przy niewielkich rozmiarach.
Jaka jest kluczowa praktyczna zaleta niewielkich rozmiarów Phi?
Ponieważ modele Phi są kompaktowe, mogą działać lokalnie na sprzęcie konsumenckim, zapewniając prywatność, małe opóźnienia i pracę w trybie offline.