Istilah Glosarium AI

Apa itu Perhatian Kilat?

Definisi

Algoritme perhatian yang dioptimalkan yang mengurangi penggunaan memori dan mempercepat pelatihan transformator dan inferensi.

Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis

Istilah terkait

Toko FiturSistem terkelola untuk menyimpan dan menyajikan fitur ML yang divalidasi secara konsisten untuk pelatihan dan inferensi.Propagasi mundurAlgoritme pelatihan inti yang memperbarui bobot model dengan menyebarkan kesalahan prediksi ke belakang melalui jaringan.Kuantisasi ModelMengurangi presisi numerik bobot model untuk mengurangi biaya memori dan inferensi.transformatorArsitektur saraf yang menggunakan perhatian untuk memodelkan hubungan lintas urutan secara paralel.Kerugian PelatihanNilai kesalahan model dihitung selama pelatihan dan dioptimalkan ke bawah seiring waktu.Perhatian Multi-KepalaMekanisme transformator yang menjalankan beberapa operasi perhatian secara paralel untuk menangkap berbagai jenis hubungan.

Pelajari lebih lanjut di panduan gratis kami

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Lihat juga

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop