Qu'est-ce que Quantification du modèle?

Conversion des poids de modèle en formats de précision inférieure tels que 8 bits ou 4 bits.

Une technique de réglage fin qui combine une quantification de poids sur 4 bits avec des adaptateurs LoRA pour réduire les besoins en mémoire.

Un algorithme d'attention optimisé qui réduit l'utilisation de la mémoire et accélère la formation et l'inférence des transformateurs.

Contexte stocké qu'un agent IA utilise au fil des étapes ou des sessions pour améliorer la continuité.

Un système logiciel capable d'observer, de raisonner et de prendre des mesures pour atteindre un objectif, souvent en utilisant des outils et de la mémoire.

Un domaine axé sur la réduction des comportements nuisibles, des pannes et des risques d’utilisation abusive des systèmes d’IA.