What is Flash Attention? Definition | AI Understanding

Definisi

Algoritme perhatian yang dioptimalkan yang mengurangi penggunaan memori dan mempercepat pelatihan transformator dan inferensi.

Istilah terkait

Sistem terkelola untuk menyimpan dan menyajikan fitur ML yang divalidasi secara konsisten untuk pelatihan dan inferensi.

Propagasi mundur

Algoritme pelatihan inti yang memperbarui bobot model dengan menyebarkan kesalahan prediksi ke belakang melalui jaringan.

Kuantisasi Model

Mengurangi presisi numerik bobot model untuk mengurangi biaya memori dan inferensi.

Arsitektur saraf yang menggunakan perhatian untuk memodelkan hubungan lintas urutan secara paralel.

Kerugian Pelatihan

Nilai kesalahan model dihitung selama pelatihan dan dioptimalkan ke bawah seiring waktu.

Perhatian Multi-Kepala

Mekanisme transformator yang menjalankan beberapa operasi perhatian secara paralel untuk menangkap berbagai jenis hubungan.

Pelajari lebih lanjut di panduan gratis kami

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

See also

QLoRA DPO (Direct Preference Optimization)Positional Encoding Tree of Thoughts RoPE (Rotary Positional Embeddings)ReAct ALiBi Agentic Loop

Jelajahi Glosarium AI selengkapnya Jelajahi semua panduan AI gratis