Istilah Glosari AI

Apakah Perhatian Kilat?

Definisi

Algoritma perhatian yang dioptimumkan yang mengurangkan penggunaan memori dan mempercepatkan latihan dan inferens transformer.

Semak imbas Glosari AI penuhTerokai semua panduan AI percuma

Istilah berkaitan

Kedai CiriSistem terurus untuk menyimpan dan menyediakan ciri ML yang disahkan secara konsisten untuk latihan dan inferens.Penyebaran balikAlgoritma latihan teras yang mengemas kini berat model dengan menyebarkan ralat ramalan ke belakang melalui rangkaian.Kuantiti ModelMengurangkan ketepatan berangka berat model untuk mengurangkan kos ingatan dan inferens.TransformerSeni bina saraf yang menggunakan perhatian kepada perhubungan model merentas jujukan secara selari.Kehilangan LatihanNilai ralat model yang dikira semasa latihan dan dioptimumkan ke bawah dari semasa ke semasa.Perhatian Berbilang KepalaMekanisme pengubah yang menjalankan beberapa operasi perhatian secara selari untuk menangkap pelbagai jenis perhubungan.

Ketahui lebih lanjut dalam panduan percuma kami

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Lihat juga

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop