Istilah Glosari AI

Apakah Perhatian Berbilang Kepala?

Definisi

Mekanisme pengubah yang menjalankan beberapa operasi perhatian secara selari untuk menangkap pelbagai jenis perhubungan.

Semak imbas Glosari AI penuhTerokai semua panduan AI percuma

Istilah berkaitan

TransformerSeni bina saraf yang menggunakan perhatian kepada perhubungan model merentas jujukan secara selari.Pengambilan Berbilang PertanyaanTeknik mendapatkan semula yang menulis semula pertanyaan pengguna ke dalam beberapa varian untuk meningkatkan ingatan semula.Mekanisme PerhatianKomponen model yang memfokus secara dinamik pada bahagian input yang berkaitan apabila menghasilkan output.Perhatian KilatAlgoritma perhatian yang dioptimumkan yang mengurangkan penggunaan memori dan mempercepatkan latihan dan inferens transformer.Model MultimodalModel yang boleh memproses atau menjana berbilang jenis data seperti teks, imej dan audio.Graf PengetahuanStruktur graf entiti dan perhubungan yang digunakan untuk menaakul atau mendapatkan semula.

Ketahui lebih lanjut dalam panduan percuma kami

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

Lihat juga

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct