Hva er Modellkvantisering?

Konvertering av modellvekter til formater med lavere presisjon som 8-bit eller 4-bit.

En finjusteringsteknikk som kombinerer 4-bits vektkvantisering med LoRA-adaptere for å redusere minnebehov.

En optimalisert oppmerksomhetsalgoritme som reduserer minnebruk og øker hastigheten på transformatortrening og slutninger.

Lagret kontekst en AI-agent bruker på tvers av trinn eller økter for å forbedre kontinuiteten.

Et programvaresystem som kan observere, resonnere og iverksette tiltak for å oppnå et mål, ofte ved hjelp av verktøy og minne.

Et felt fokusert på å redusere skadelig atferd, feil og misbruksrisikoer i AI-systemer.