What is Attention Mechanism? Definition | AI Understanding

Definisi

Komponen model yang secara dinamis berfokus pada bagian masukan yang relevan saat menghasilkan keluaran.

Istilah terkait

Komponen model yang mengubah masukan menjadi representasi laten.

Perhatian Multi-Kepala

Mekanisme transformator yang menjalankan beberapa operasi perhatian secara paralel untuk menangkap berbagai jenis hubungan.

Metode bias posisional yang memberikan penalti pada skor perhatian berdasarkan jarak tertentu, membantu model melakukan ekstrapolasi ke konteks yang lebih panjang.

Tugas di mana model memberikan masukan ke satu atau lebih kategori yang telah ditentukan sebelumnya.

Jendela Konteks

Jumlah maksimum token masukan yang dapat diproses model bahasa sekaligus.

Penyimpangan Data

Pergeseran data masukan dunia nyata dari waktu ke waktu yang dapat menurunkan performa model.

Pelajari lebih lanjut di panduan gratis kami

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

See also

Artificial Intelligence (AI)Autonomous System API (Application Programming Interface)Backpropagation Annotation Baseline Model Algorithmic Transparency Benchmark

Jelajahi Glosarium AI selengkapnya Jelajahi semua panduan AI gratis