Apakah Mekanisme Perhatian? Definisi | AI Understanding

Definisi

Komponen model yang memfokus secara dinamik pada bahagian input yang berkaitan apabila menghasilkan output.

Istilah berkaitan

Komponen model yang mengubah input kepada perwakilan terpendam.

Perhatian Berbilang Kepala

Mekanisme pengubah yang menjalankan beberapa operasi perhatian secara selari untuk menangkap pelbagai jenis perhubungan.

Kaedah berat sebelah kedudukan yang menghukum skor perhatian berdasarkan jarak token, membantu model mengekstrapolasi kepada konteks yang lebih panjang.

Tugas di mana model memberikan input kepada satu atau lebih kategori yang dipratentukan.

Tetingkap Konteks

Jumlah maksimum token input model bahasa boleh diproses sekaligus.

Peralihan dalam data input dunia sebenar dari semasa ke semasa yang boleh merendahkan prestasi model.

Ketahui lebih lanjut dalam panduan percuma kami

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

See also

Artificial Intelligence (AI)Autonomous System API (Application Programming Interface)Backpropagation Annotation Baseline Model Algorithmic Transparency Benchmark

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma