RoPE (การฝังตำแหน่งแบบหมุน) คืออะไร? ความหมาย | AI Understanding

คำนิยาม

วิธีการเข้ารหัสตำแหน่งที่หมุนแบบสอบถามและเวกเตอร์คีย์เพื่อเข้ารหัสตำแหน่งโทเค็นที่เกี่ยวข้อง

ข้อกำหนดที่เกี่ยวข้อง

การเข้ารหัสตำแหน่ง

ข้อมูลที่เพิ่มในการฝังโทเค็นเพื่อให้หม้อแปลงสามารถแยกแยะลำดับได้

อาลีบี

วิธีอคติเชิงตำแหน่งที่ลงโทษคะแนนความสนใจตามระยะทางโทเค็น ช่วยให้แบบจำลองคาดการณ์บริบทที่ยาวขึ้น

RAG-ฟิวชั่น

วิธีการดึงข้อมูลที่สร้างตัวแปรการสืบค้นหลายรูปแบบ ดึงผลลัพธ์สำหรับแต่ละรายการ และรวมการจัดอันดับ

ANN (เพื่อนบ้านที่ใกล้ที่สุดโดยประมาณ)

อัลกอริทึมที่ค้นหาเวกเตอร์ใกล้กับข้อความค้นหาโดยไม่มีการเปรียบเทียบอย่างละเอียด โดยแลกเปลี่ยนความแม่นยำกับความเร็ว

RAG (การดึงข้อมูล-การสร้างเสริม)

วิธีการดึงความรู้จากภายนอกและป้อนเข้าสู่รุ่นในเวลาอนุมาน

การเรียนรู้การเสริมกำลังจากผลตอบรับของมนุษย์ (RLHF)

วิธีการฝึกอบรมที่ใช้สัญญาณความชอบของมนุษย์เพื่อกำหนดรูปแบบพฤติกรรมของโมเดล

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

Audio Embeddings and Representation Learning Sentence-BERT Embeddings X-Vector Speaker Embeddings HyDE Hypothetical Document Embeddings

ดูเพิ่มเติม

Multi-Head Attention Sliding Window Attention Flash Attention BPE (Byte Pair Encoding)QLoRA SentencePiece DPO (Direct Preference Optimization)Tree of Thoughts

เรียกดูอภิธานศัพท์ AI ฉบับเต็ม สำรวจคำแนะนำ AI ฟรีทั้งหมด