Istilah Glosari AI

Apakah Mekanisme Perhatian?

Definisi

Komponen model yang memfokus secara dinamik pada bahagian input yang berkaitan apabila menghasilkan output.

Semak imbas Glosari AI penuhTerokai semua panduan AI percuma

Istilah berkaitan

PengekodKomponen model yang mengubah input kepada perwakilan terpendam.Perhatian Berbilang KepalaMekanisme pengubah yang menjalankan beberapa operasi perhatian secara selari untuk menangkap pelbagai jenis perhubungan.ALiBiKaedah berat sebelah kedudukan yang menghukum skor perhatian berdasarkan jarak token, membantu model mengekstrapolasi kepada konteks yang lebih panjang.PengelasanTugas di mana model memberikan input kepada satu atau lebih kategori yang dipratentukan.Tetingkap KonteksJumlah maksimum token input model bahasa boleh diproses sekaligus.Hanyutan DataPeralihan dalam data input dunia sebenar dari semasa ke semasa yang boleh merendahkan prestasi model.

Ketahui lebih lanjut dalam panduan percuma kami

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Lihat juga

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark