Apakah RoPE (Pembenaman Kedudukan Putar)? Definisi | AI Understanding

Definisi

Kaedah pengekodan kedudukan yang memutarkan pertanyaan dan vektor kunci untuk mengekod kedudukan token relatif.

Istilah berkaitan

Pengekodan Kedudukan

Maklumat ditambahkan pada pembenaman token supaya transformer boleh membezakan susunan jujukan.

Kaedah berat sebelah kedudukan yang menghukum skor perhatian berdasarkan jarak token, membantu model mengekstrapolasi kepada konteks yang lebih panjang.

Kaedah mendapatkan semula yang menjana berbilang variasi pertanyaan, mendapatkan semula hasil untuk setiap satu dan menggabungkan kedudukan.

ANN (Anggaran Jiran Terdekat)

Algoritma yang mencari vektor hampir dengan pertanyaan tanpa perbandingan menyeluruh, berdagang ketepatan untuk kelajuan.

RAG (Retrieval-Augmented Generation)

Kaedah yang mendapatkan semula pengetahuan luaran dan menyalurkannya kepada generasi pada masa inferens.

Pembelajaran Pengukuhan daripada Maklum Balas Manusia (RLHF)

Kaedah latihan yang menggunakan isyarat keutamaan manusia untuk membentuk tingkah laku model.

Ketahui lebih lanjut dalam panduan percuma kami

Audio Embeddings and Representation Learning Sentence-BERT Embeddings X-Vector Speaker Embeddings HyDE Hypothetical Document Embeddings

See also

Multi-Head Attention Sliding Window Attention Flash Attention BPE (Byte Pair Encoding)QLoRA SentencePiece DPO (Direct Preference Optimization)Tree of Thoughts

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma