À suivreGuide suivant
Extraction de relations à partir du texte
IA linguistique
GUIDE IA du langage
Transfert T5 et texte à texte
T5 (Text-to-Text Transfer Transformer), de Google en 2019, recadre chaque tâche PNL, traduction, résumé, classification, voire régression, en introduisant et en extrayant du texte.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Ce format unifié unique permet à un modèle et à une recette de formation de gérer des dizaines de tâches.
Plongée profonde
L'idée centrale de T5 est que n'importe quelle tâche de langage peut être convertie en texte en texte : l'entrée est une chaîne avec un préfixe de tâche et la sortie est toujours une chaîne. La traduction devient « traduire de l'anglais vers l'allemand : ... » produisant un texte allemand ; le sentiment devient « phrase sst2 : … » produisant le mot littéral « positif » ou « négatif ». Il utilise un transformateur codeur-décodeur complet, contrairement au BERT avec codeur uniquement ou au GPT avec décodeur uniquement. T5 a été pré-entraîné sur le corpus C4 (Colossal Clean Crawled Corpus, ~ 750 Go de texte Web nettoyé) avec un objectif de corruption d'étendue : les étendues aléatoires de jetons sont masquées et remplacées par des jetons sentinelles, et le modèle apprend à générer les étendues manquantes. L'étude qui l'accompagne a comparé systématiquement les architectures, les objectifs et la taille des ensembles de données pour trouver ce qui est le mieux transféré.
Mise en œuvre dans le monde réel
Résumé abstrait : le préfixe « summarize : » avant un article permet à T5 de générer un résumé concis dans ses propres mots.
Traduction automatique : un seul modèle T5 gère plusieurs paires de langues via des préfixes tels que « traduire l'anglais vers le français : ».
FLAN-T5 suit les instructions en langage naturel pour répondre aux questions et raisonner sans recyclage spécifique à une tâche.
Réponse aux questions à livre fermé : T5 répond aux questions factuelles directement sous forme de texte généré, en s'appuyant sur les connaissances stockées dans ses pondérations.
L'avenir du T5 et du transfert de texte à texte
Le paradigme texte-texte est devenu extrêmement influent : les descendants adaptés aux instructions comme FLAN-T5 se généralisent à des tâches invisibles à partir d'instructions en langage naturel, et le format unifié préfigure les grands modèles de langage actuels pilotés par des invites. Attendez-vous à une utilisation continue des encodeurs-décodeurs T5 pour le résumé, la traduction et la génération structurée, ainsi que des variantes multilingues comme mT5 et des successeurs axés sur l'efficacité, même si les modèles à décodeur uniquement dominent les applications de chat ouvertes.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
- Accès et portée. Il étend l’accès à toutes les langues et styles de communication.
- Décisions plus claires. Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
Attention à
- Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
- La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
- Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Prochaines étapes
- Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
- Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
- Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
- Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the T5 and Text-to-Text Transfer quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu'est-ce que le transfert T5 et texte à texte ?
T5 (Text-to-Text Transfer Transformer), de Google en 2019, recadre chaque tâche PNL, traduction, résumé, classification, voire régression, en introduisant et en extrayant du texte. Ce format unifié unique permet à un modèle et à une recette de formation de gérer des dizaines de tâches.
Quelle est l’idée déterminante derrière T5 ?
T5 regroupe la traduction, le résumé, la classification et bien plus encore dans un seul format texte-texte à l'aide de préfixes de tâches.
Quelle architecture Transformer le T5 utilise-t-il ?
Contrairement au BERT avec encodeur uniquement ou au GPT avec décodeur uniquement, T5 utilise un transformateur encodeur-décodeur complet avec attention croisée.
Quel objectif de pré-formation le T5 utilise-t-il principalement ?
T5 masque des étendues aléatoires de jetons, remplace chacune d'entre elles par une sentinelle et entraîne le décodeur à reproduire les étendues manquantes.
Sur quel corpus T5 a-t-il été pré-entraîné ?
T5 a été formé sur C4, un sous-ensemble nettoyé d'environ 750 Go de texte Web Common Crawl.
Comment T5 représente-t-il une tâche de classification telle que l’analyse des sentiments ?
Parce que tout est texte à texte, T5 émet l'étiquette de classe sous forme de chaîne de mots plutôt que d'index de classe numérique.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet