Qu'est-ce que Facturation basée sur l'utilisation?

Quantité de puissance de traitement consommée lors de la production de chaque réponse.

Calcul d'inférence supplémentaire utilisé lors de la génération de réponses pour améliorer la qualité ou le raisonnement.

Une méthode d'accélération d'inférence dans laquelle un petit projet de modèle propose des jetons qu'un modèle plus grand vérifie en parallèle.

Un modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.

Phase d'exécution au cours de laquelle un modèle entraîné génère des prédictions ou des sorties.

Une méthode qui récupère des connaissances externes et les intègre à la génération au moment de l'inférence.