Qu'est-ce que Modèle clairsemé?

Une politique selon laquelle les charges utiles de requête/réponse ne sont pas stockées après traitement au-delà des fenêtres opérationnelles de courte durée.

Un modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.

Un modèle d'attaque dans lequel des instructions malveillantes sont insérées dans les entrées du modèle ou dans le contenu récupéré.

Une approche de formation et de formation des comportements où les résultats du modèle sont guidés par un ensemble fixe de principes écrits.

Un espace de représentation compressé où des concepts similaires sont positionnés les uns à côté des autres en tant que vecteurs.

Une méthode d'accélération d'inférence dans laquelle un petit projet de modèle propose des jetons qu'un modèle plus grand vérifie en parallèle.