À suivreSuivant dans les fondations de l'IA
Réseaux de neurones
Fondamentaux
GUIDE des fondamentaux
Inférence IA
L'inférence utilise un modèle entraîné pour produire une sortie à partir d'une nouvelle entrée.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Un classificateur peut renvoyer un score de catégorie ; un modèle de langage peut générer des jetons. L'inférence laisse généralement les paramètres du modèle inchangés, bien qu'un système environnant puisse enregistrer séparément des informations ou apprendre des commentaires.
Points clés à retenir
- Mesurez l’intégralité du chemin de la requête.
- Séparez la latence par requête du débit.
- Retestez la qualité après avoir servi les optimisations.
Plongée profonde
Une requête passe généralement par la validation des entrées, le prétraitement, le modèle et le traitement des sorties. Un service de texte peut tokeniser une invite, exécuter le modèle à plusieurs reprises pour générer des jetons et assembler la réponse. La récupération et les outils externes peuvent ajouter des étapes supplémentaires autour du modèle. Leur temps et leurs erreurs comptent pour l’expérience utilisateur. Mesurez la latence et le débit séparément. La latence correspond au temps que prend une requête ; le débit correspond au nombre de requêtes que le système termine sur une période donnée. Le regroupement des requêtes peut améliorer le débit tout en augmentant l'attente pour une requête individuelle. Le streaming peut permettre de commencer une réponse plus tôt sans réduire le temps nécessaire pour la terminer. La mémoire matérielle doit contenir plus que les poids du modèle. Les tampons de travail, les requêtes simultanées et les représentations mises en cache consomment également de la mémoire. Des entrées et des sorties plus longues peuvent modifier le coût de service. Testez donc la répartition réelle de la charge de travail plutôt qu'une courte invite de démonstration. Un déploiement d'inférence nécessite des limites, des délais d'attente et une réponse utilisable lorsque le modèle ne peut pas répondre. Conservez un ensemble d'évaluation versionné et comparez les résultats après avoir modifié la précision, le traitement par lots, les versions du modèle ou le prétraitement. Une optimisation n'est utile que si elle préserve la qualité requise par la tâche.
04Exemple travaillé
Tenir compte du temps de réponse de bout en bout
Dans une requête construite, la validation prend 20 ms, la récupération de documents 180 ms, la génération de modèle 900 ms et le formatage 30 ms.
Si ces étapes se déroulent séquentiellement, le total est de 1 130 ms. La réduction de moitié du temps de formatage ne permet de gagner que 15 ms.
Réduire la récupération à 100 ms permet d'économiser 80 ms. Mesurez à nouveau sous une charge simultanée, car la mise en file d'attente peut modifier le résultat.
Ce que ça montre
Ces timings inventés illustrent pourquoi l’optimisation d’une petite étape peut à peine changer l’expérience.
Mise en œuvre dans le monde réel
Classifiez un message entrant sans recycler le classificateur.
Diffusez un brouillon de réponse tout en conservant un contrôle d’annulation clair.
Le mettre en pratique
Pourquoi c'est important
- Décisions plus claires. Il vous aide à séparer les affirmations techniques claires du langage marketing.
- Coût et budget. Vous pouvez poser de meilleures questions de mise en œuvre avant de dépenser de l'argent ou du temps.
- Équipe et flux de travail. Les équipes partageant une compréhension commune prennent de meilleures décisions en matière de produits, de politiques et d’apprentissage.
Attention à
- Différentes équipes peuvent utiliser le même terme différemment, alors définissez la portée dès le début.
- Les benchmarks peuvent paraître solides alors que les performances réelles sont inégales.
- Ignorer la qualité des données et les plans d’évaluation crée souvent des résultats fragiles.
Prochaines étapes
- Commencez par une définition en langage simple du résultat dont vous avez besoin.
- Choisissez une mesure de réussite et une condition d’échec avant de tester.
- Exécutez un petit pilote avec des données représentatives, pas un ensemble de démonstration raffiné.
- Documentez où l'IA Inference est utile et où les méthodes plus simples sont meilleures.
Sources et lectures complémentaires
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the AI Inference quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
L’inférence est-elle la même chose que le raisonnement ?
L'inférence décrit l'exécution d'un modèle. Une tâche peut impliquer un raisonnement, une classification ou une génération ; le label d'exécution n'établit pas la qualité du raisonnement.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet