Istilah Glosarium AI

Apa itu Mekanisme Perhatian?

Definisi

Komponen model yang secara dinamis berfokus pada bagian masukan yang relevan saat menghasilkan keluaran.

Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis

Istilah terkait

Pembuat enkodeKomponen model yang mengubah masukan menjadi representasi laten.Perhatian Multi-KepalaMekanisme transformator yang menjalankan beberapa operasi perhatian secara paralel untuk menangkap berbagai jenis hubungan.AliBiMetode bias posisional yang memberikan penalti pada skor perhatian berdasarkan jarak tertentu, membantu model melakukan ekstrapolasi ke konteks yang lebih panjang.KlasifikasiTugas di mana model memberikan masukan ke satu atau lebih kategori yang telah ditentukan sebelumnya.Jendela KonteksJumlah maksimum token masukan yang dapat diproses model bahasa sekaligus.Penyimpangan DataPergeseran data masukan dunia nyata dari waktu ke waktu yang dapat menurunkan performa model.

Pelajari lebih lanjut di panduan gratis kami

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Lihat juga

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark