Microsoft Phi
Microsoft Phi est une famille de petits modèles de langage qui prouvent qu'une conservation minutieuse des données peut rivaliser avec l'échelle de la force brute.
Aperçu
By training on textbook-quality and synthetic data, tiny Phi models punch far above their parameter count.
Plongée profonde
Phi est la gamme de petits modèles de langage (SLM) de Microsoft Research lancée en 2023 avec Phi-1, un modèle de codage de 1,3 milliard de paramètres. La thèse directrice, reprise dans le titre de l'article « Les manuels sont tout ce dont vous avez besoin », est que la qualité des données compte plus que leur taille brute. Au lieu de parcourir l'intégralité du Web, Microsoft a formé Phi sur du contenu organisé, semblable à celui d'un manuel, ainsi que sur des exercices synthétiques générés par GPT-4. Les versions successives ont mis à l'échelle cette idée : Phi-2 (2,7 B), Phi-3 (3,8 B « mini » jusqu'à 14B « moyen ») et Phi-3.5 avec des variantes de vision et de mélange d'experts. Malgré leur taille, les modèles Phi égalent ou battent des concurrents bien plus importants en termes de raisonnement et de mathématiques, et ils fonctionnent efficacement sur les ordinateurs portables, les téléphones et les appareils de pointe. Les modèles sont publiés ouvertement sous licences permissives.
Aperçu technique
L'avantage de Phi vient de la génération et du filtrage de données synthétiques. Microsoft utilise des modèles plus grands comme GPT-4 pour rédiger des exemples clairs et pédagogiquement structurés et pour évaluer le texte Web en fonction de sa « valeur éducative », en ne conservant que les documents à fort signal. Ce mélange de formation dense et à faible bruit permet à un modèle 3,8B d'apprendre des schémas de raisonnement qui nécessitent normalement des dizaines de milliards de paramètres. Phi-3-mini utilise une fenêtre contextuelle 4K ou 128K et une architecture de décodeur de transformateur similaire à Llama, ce qui facilite son déploiement avec les outils existants.
Impact stratégique
Stratégie du fournisseur
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
Coût et budget
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
Risques et sécurité
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
L'avenir de Microsoft Phi
Microsoft pousse Phi vers des utilisations sur appareil et agents où la latence, la confidentialité et les coûts excluent les géants du cloud. Attendez-vous à une intégration plus étroite de Windows et Copilot+ PC, des variantes multimodales (vision et audio) plus puissantes et une conception continue de mélange d'experts qui n'activent qu'une fraction des paramètres par jeton. La tendance plus large validée par Phi, selon laquelle les données intelligentes dépassent l'échelle pure, remodèle la façon dont l'ensemble du secteur forme des modèles, en particulier pour les téléphones, l'IoT et les scénarios hors ligne où les petits modèles performants gagnent.
Mise en œuvre dans le monde réel
Exécuter un assistant de codage hors ligne directement sur un ordinateur portable sans envoyer de code vers le cloud
Activation des fonctionnalités sur l'appareil dans les PC Copilot+ et les applications mobiles où une faible latence est importante
Intégration d'un modèle de raisonnement dans du matériel IoT ou Edge avec une mémoire limitée et pas d'Internet
Des chercheurs peaufinent un petit modèle Phi sous licence ouverte pour un chatbot spécifique à un domaine à moindre coût
Risques et garde-fous
Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Feuille de route de mise en œuvre
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
Maintenez un plan de secours entre les modèles ou les fournisseurs.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Microsoft Phi quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Microsoft IA
Questions fréquemment posées
What is Microsoft Phi?
Microsoft Phi est une famille de petits modèles de langage qui prouvent qu'une conservation minutieuse des données peut rivaliser avec l'échelle de la force brute. En s'entraînant sur des données synthétiques et de qualité manuelle, les minuscules modèles Phi dépassent de loin leur nombre de paramètres.
Quelle est la thèse fondamentale derrière les modèles Phi, exposée dans un célèbre article ?
L'article de Phi-1 s'intitulait « Les manuels sont tout ce dont vous avez besoin », affirmant que des données organisées et de haute qualité comptent plus que la simple échelle.
Environ combien de paramètres possède le Phi-3-mini ?
Phi-3-mini possède environ 3,8 milliards de paramètres, ce qui le rend suffisamment petit pour fonctionner sur un téléphone tout en restant performant.
Comment Microsoft génère-t-il une grande partie des données d'entraînement de Phi ?
Microsoft utilise des modèles puissants tels que GPT-4 pour générer des exercices synthétiques propres et filtrer le texte Web à des fins pédagogiques.
À quelle catégorie de modèle « SLM » fait-il référence, tel qu'utilisé pour Phi ?
Phi est décrit comme un petit modèle de langage (SLM), mettant l'accent sur les capacités dans une taille compacte.
Quel est l'un des principaux avantages pratiques de la petite taille de Phi ?
Les modèles Phi étant compacts, ils peuvent fonctionner localement sur du matériel grand public, garantissant ainsi la confidentialité, une faible latence et une utilisation hors ligne.