Istilah Glosarium AI

Apa itu Perhatian Multi-Kepala?

Definisi

Mekanisme transformator yang menjalankan beberapa operasi perhatian secara paralel untuk menangkap berbagai jenis hubungan.

Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis

Istilah terkait

transformatorArsitektur saraf yang menggunakan perhatian untuk memodelkan hubungan lintas urutan secara paralel.Pengambilan Multi-KueriTeknik pengambilan yang menulis ulang kueri pengguna menjadi beberapa varian untuk meningkatkan ingatan.Mekanisme PerhatianKomponen model yang secara dinamis berfokus pada bagian masukan yang relevan saat menghasilkan keluaran.Perhatian KilatAlgoritme perhatian yang dioptimalkan yang mengurangi penggunaan memori dan mempercepat pelatihan transformator dan inferensi.Model MultimodaModel yang dapat memproses atau menghasilkan beberapa tipe data seperti teks, gambar, dan audio.Grafik PengetahuanStruktur grafik entitas dan hubungan yang digunakan untuk penalaran atau pengambilan.

Pelajari lebih lanjut di panduan gratis kami

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

Lihat juga

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct