Mi az Modell kvantálás?

Modellsúlyok konvertálása kisebb pontosságú formátumokká, például 8 bites vagy 4 bites.

Finomhangoló technika, amely a 4 bites súlykvantálást LoRA adapterekkel kombinálja a memóriaigény csökkentése érdekében.

Optimalizált figyelési algoritmus, amely csökkenti a memóriahasználatot, és felgyorsítja a transzformátor betanítását és következtetéseit.

Tárolt kontextus, amelyet az AI-ügynök több lépésben vagy munkamenetben használ a folytonosság javítása érdekében.

Szoftverrendszer, amely képes megfigyelni, okoskodni, és lépéseket tenni a cél elérése érdekében, gyakran eszközöket és memóriát használva.

A mesterséges intelligencia rendszerekben a káros viselkedés, a hibák és a visszaélések kockázatának csökkentésére összpontosító terület.