Istilah Glosari AI

Apa itu Perhatian Kilat?

Definisi

Algoritma perhatian yang dioptimumkan yang mengurangkan penggunaan memori dan mempercepatkan latihan dan inferens transformer.

Istilah berkaitan

Kedai Ciri
Sistem terurus untuk menyimpan dan menyediakan ciri ML yang disahkan secara konsisten untuk latihan dan inferens.
Penyebaran balik
Algoritma latihan teras yang mengemas kini berat model dengan menyebarkan ralat ramalan ke belakang melalui rangkaian.
Kuantiti Model
Mengurangkan ketepatan berangka berat model untuk mengurangkan kos ingatan dan inferens.
Transformer
Seni bina saraf yang menggunakan perhatian kepada perhubungan model merentas jujukan secara selari.
Kehilangan Latihan
Nilai ralat model yang dikira semasa latihan dan dioptimumkan ke bawah dari semasa ke semasa.
Perhatian Berbilang Kepala
Mekanisme pengubah yang menjalankan beberapa operasi perhatian secara selari untuk menangkap pelbagai jenis perhubungan.

Ketahui lebih lanjut dalam panduan percuma kami

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

See also

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop
Semak imbas Glosari AI penuhTerokai semua panduan AI percuma