Cos'è Quantizzazione del modello?

Conversione dei pesi del modello in formati con precisione inferiore come 8 bit o 4 bit.

Una tecnica di messa a punto che combina la quantizzazione del peso a 4 bit con gli adattatori LoRA per ridurre le esigenze di memoria.

Un algoritmo di attenzione ottimizzato che riduce l'utilizzo della memoria e accelera l'addestramento e l'inferenza del trasformatore.

Contesto archiviato che un agente AI utilizza attraverso passaggi o sessioni per migliorare la continuità.

Un sistema software in grado di osservare, ragionare e intraprendere azioni per raggiungere un obiettivo, spesso utilizzando strumenti e memoria.

Un campo incentrato sulla riduzione di comportamenti dannosi, guasti e rischi di uso improprio nei sistemi di intelligenza artificiale.