What is Multi-Head Attention? Definition | AI Understanding

Definisi

Mekanisme pengubah yang menjalankan beberapa operasi perhatian secara selari untuk menangkap pelbagai jenis perhubungan.

Istilah berkaitan

Seni bina saraf yang menggunakan perhatian kepada perhubungan model merentas jujukan secara selari.

Pengambilan Berbilang Pertanyaan

Teknik mendapatkan semula yang menulis semula pertanyaan pengguna ke dalam beberapa varian untuk meningkatkan ingatan semula.

Mekanisme Perhatian

Komponen model yang memfokus secara dinamik pada bahagian input yang berkaitan apabila menghasilkan output.

Perhatian Kilat

Algoritma perhatian yang dioptimumkan yang mengurangkan penggunaan memori dan mempercepatkan latihan dan inferens transformer.

Model Multimodal

Model yang boleh memproses atau menjana berbilang jenis data seperti teks, imej dan audio.

Graf Pengetahuan

Struktur graf entiti dan perhubungan yang digunakan untuk menaakul atau mendapatkan semula.

Ketahui lebih lanjut dalam panduan percuma kami

Multilingual LLMs Multimodal Search Hard Parameter Sharing in Multi-Task Networks Attention Rollout and Head Pruning

See also

Positional Encoding QLoRA RoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBi Tree of Thoughts Sliding Window Attention ReAct

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma