Nedir Model Niceleme?

Model ağırlıklarını 8 bit veya 4 bit gibi daha düşük hassasiyetli formatlara dönüştürme.

Bellek ihtiyaçlarını azaltmak için 4 bitlik ağırlık nicelemesini LoRA bağdaştırıcılarıyla birleştiren bir ince ayar tekniği.

Bellek kullanımını azaltan ve transformatör eğitimini ve çıkarımını hızlandıran optimize edilmiş bir dikkat algoritması.

Bir AI aracısının sürekliliği artırmak için adımlar veya oturumlar boyunca kullandığı kayıtlı bağlam.

Bir hedefe ulaşmak için genellikle araçları ve hafızayı kullanarak gözlemleyebilen, mantık yürütebilen ve harekete geçebilen bir yazılım sistemi.

Yapay zeka sistemlerinde zararlı davranışları, arızaları ve kötüye kullanım risklerini azaltmaya odaklanan bir alan.