Apa itu Kuantiti Model?

Menukar pemberat model kepada format ketepatan yang lebih rendah seperti 8-bit atau 4-bit.

Teknik penalaan halus yang menggabungkan pengkuantitian berat 4-bit dengan penyesuai LoRA untuk mengurangkan keperluan memori.

Algoritma perhatian yang dioptimumkan yang mengurangkan penggunaan memori dan mempercepatkan latihan dan inferens transformer.

Konteks tersimpan yang digunakan ejen AI merentas langkah atau sesi untuk meningkatkan kesinambungan.

Sistem perisian yang boleh memerhati, menaakul dan mengambil tindakan untuk mencapai matlamat, selalunya menggunakan alatan dan ingatan.

Bidang yang memfokuskan pada mengurangkan tingkah laku berbahaya, kegagalan dan risiko penyalahgunaan dalam sistem AI.