À suivreGuide suivant
Apprentissage par transfert
Fondamentaux
GUIDE des fondamentaux
Les méthodes peu nombreuses visent à utiliser un petit ensemble de supports étiquetés ou quelques démonstrations pour une tâche.
Écoutez ce guideNarré par l'IA · ~3 min
Les invites contextuelles et l'apprentissage basé sur des métriques y parviennent grâce à des procédures différentes, et ni l'un ni l'autre ne garantit une adaptation réussie à partir d'exemples arbitraires.
Few-shot is used across methods that supply only a small number of task examples, often after substantial prior learning. In an N-way K-shot classification episode, N counts classes and K counts labeled support examples per class. That notation describes the task’s support data rather than the model’s total pretraining corpus. In-context few-shot prompting supplies demonstrations in the input of an already trained model. The cited language-model study evaluates this mode without task-specific gradient updates during the prompt; examples condition the prediction rather than rewrite weights. Fine-tuning on a small dataset is a different procedure even when both are called few-shot adaptation. Prior training can make representations or patterns useful for a new task, but a few examples do not guarantee that the model infers the intended labels or rules. Prototypical Networks studies a metric-based alternative. A learned embedding maps labeled support items into a space, and each class prototype is the mean of its support embeddings. A query is classified using distances to those prototypes. If one class has support vectors (0,0) and (2,0), its arithmetic-mean prototype is (1,0). The support items used to build the prototype and the query items used to assess classification have different roles. Training episodes in the paper keep those sampled sets separate. For in-context models, demonstration order can also affect results: Fantastically Ordered Prompts studies large variation among permutations in particular text-classification setups. Selecting a favorable order should not be confused with proof of generalization on an untouched evaluation set.
Fournir des exemples de tickets étiquetés dans une invite avant une nouvelle requête de ticket.
Démonstration d'un format de sortie avec quelques paires entrée-sortie.
Calcul d'un prototype de classe à partir d'intégrations de support étiquetées.
Comparaison des commandes rapides sur un ensemble d'évaluation distinct sans modifier les exemples.
Peu d'évaluations ponctuelles peuvent comparer des exemples de support représentatifs, le classement, la récupération de démonstrations et les fonctions à distance apprises sous des rôles de données clairement séparés. Davantage de démonstrations peuvent fournir des informations utiles, mais peuvent également modifier la longueur des invites ou introduire des modèles trompeurs. Les expériences doivent enregistrer si les pondérations ont été mises à jour et si les étiquettes de l'ensemble de requêtes final ont influencé la sélection. Différents domaines peuvent nécessiter différentes représentations ou exemples préalables. Tester la tâche prévue et les requêtes intactes donne un résultat plus significatif que de supposer qu'un petit ensemble étiqueté permet automatiquement une adaptation instantanée ou reproduit l'apprentissage humain.
Newsletter gratuite
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Les méthodes peu nombreuses visent à utiliser un petit ensemble de supports étiquetés ou quelques démonstrations pour une tâche. Les invites contextuelles et l'apprentissage basé sur des métriques y parviennent grâce à des procédures différentes, et ni l'un ni l'autre ne garantit une adaptation réussie à partir d'exemples arbitraires.
N compte les classes ; K compte les exemples pour chaque classe dans l'ensemble de supports spécifié.
L'apprentissage en contexte n'effectue aucune mise à jour de gradient ; les exemples de l'invite guident simplement les prédictions du prochain jeton du modèle.
Zero-shot ne donne qu'une instruction sans exemples, alors que quelques-shot comprend une poignée de démonstrations.
L'avantage dépend du modèle, de la tâche et des exemples antérieurs ; le succès doit être mesuré.
Les réseaux prototypiques forment un prototype (intégration moyenne) par classe et classent les nouveaux points par prototype le plus proche dans l'espace appris.
Continuez à apprendre
Plus de guides sélectionnés pour ce sujet
À suivreGuide suivant
Apprentissage par transfert
Fondamentaux