Réglage des instructions
Le réglage des instructions est l'étape de formation qui transforme un prédicteur de texte brut en un modèle qui suit réellement des instructions telles que « résumer ceci » ou « écrire une réponse polie ». C’est ce qui rend un modèle de base utile et orientable.
Plongée profonde
Un modèle de langage de base est formé uniquement pour prédire le prochain jeton sur le texte Web. Par conséquent, si vous tapez une question, il se peut qu'il continue avec d'autres questions au lieu de répondre. Le réglage des instructions corrige ce problème. Il s'agit d'une forme de mise au point supervisée : le modèle est formé sur de nombreuses paires de (instruction, réponse idéale) couvrant des milliers de tâches : traduction, résumé, classification, questions-réponses, codage, etc. En voyant le même modèle d'instructions puis de réponses utiles à plusieurs reprises, le modèle apprend le comportement général consistant à « faire ce que l'utilisateur demande », et cela se généralise aux instructions qu'il n'a jamais vues lors de la formation. L'approche a été établie vers 2021 par des travaux tels que FLAN, T0 et Natural Instructions, et était au cœur d'InstructGPT de OpenAI, qui a affiné GPT-3 sur un ensemble organisé d'invites d'instructions. C’est la base sur laquelle reposent la plupart des assistants de chat.
Aperçu technique
Mécaniquement, le réglage des instructions est un apprentissage supervisé standard : minimisez la différence entre les jetons prédits par le modèle et la réponse de référence, avec des gradients mettant à jour les poids. Il se distingue du RLHF (apprentissage par renforcement à partir du feedback humain), qui suit et optimise les préférences humaines à l'aide d'un modèle de récompense. La recette habituelle est superposée : pré-entraînement, puis réglage des instructions (SFT) pour enseigner le suivi des tâches, puis éventuellement RLHF pour affiner le ton, l'utilité et la sécurité. La diversité des données compte plus que le simple volume : une large couverture des tâches conduit à la généralisation.
Impact stratégique
Vitesse et échelle
Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
Accès et portée
Il étend l’accès à toutes les langues et styles de communication.
Décisions plus claires
Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
L’avenir du réglage des instructions
Le domaine évolue des ensembles de données géants écrits à la main vers des données de meilleure qualité, en partie synthétiques – parfois seulement quelques milliers d’exemples soigneusement choisis – après avoir découvert que la qualité des données peut surpasser la quantité. Attendez-vous à des réglages d'instructions plus spécifiques à un domaine (médical, juridique, codage), à des jeux d'instructions multilingues et multimodaux et à des pipelines automatisés qui génèrent et filtrent les données d'instructions. Le réglage des instructions restera le pont essentiel entre un modèle brut pré-entraîné et un assistant utilisable, de plus en plus combiné à l'optimisation des préférences pour l'alignement.
Mise en œuvre dans le monde réel
Transformer un modèle de base de style GPT en un assistant de chat qui répond aux questions au lieu de leur faire écho
FLAN-T5, affiné pour de nombreuses tâches afin qu'il puisse suivre des instructions sur lesquelles il n'a jamais été explicitement formé
InstructGPT, où GPT-3 a été adapté aux instructions sur des invites organisées pour produire des réponses beaucoup plus utiles
Construire un assistant interne à l'entreprise en peaufinant les couples instruction-réponse rédigés par les équipes support et juridiques
Risques et garde-fous
Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Feuille de route de mise en œuvre
Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Instruction Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Réglage du préfixe
Questions fréquemment posées
What is Instruction Tuning?
Le réglage des instructions est l'étape de formation qui transforme un prédicteur de texte brut en un modèle qui suit réellement des instructions telles que « résumer ceci » ou « écrire une réponse polie ». C’est ce qui rend un modèle de base utile et orientable.
En quoi le réglage des instructions diffère-t-il du RLHF ?
Le réglage des instructions est un apprentissage supervisé sur les réponses cibles. RLHF vient ensuite et optimise le modèle par rapport aux préférences humaines apprises.
Quelle propriété des données de réglage des instructions détermine le plus la capacité d'un modèle à suivre de nouvelles instructions invisibles ?
Couvrir une grande variété de tâches enseigne le comportement général consistant à suivre des instructions, qui se généralise à des instructions jamais vues en formation.
Quel est l’ordre typique des étapes de formation pour un assistant de chat moderne ?
Les modèles sont d'abord pré-entraînés sur du texte brut, puis adaptés aux instructions pour suivre les tâches, et souvent affinés avec RLHF pour le ton et la sécurité.