What is Positional Encoding? Definition | AI Understanding

คำนิยาม

ข้อมูลที่เพิ่มในการฝังโทเค็นเพื่อให้หม้อแปลงสามารถแยกแยะลำดับได้

ข้อกำหนดที่เกี่ยวข้อง

RoPE (การฝังตำแหน่งแบบหมุน)

วิธีการเข้ารหัสตำแหน่งที่หมุนแบบสอบถามและเวกเตอร์คีย์เพื่อเข้ารหัสตำแหน่งโทเค็นที่เกี่ยวข้อง

อาลีบี

วิธีอคติเชิงตำแหน่งที่ลงโทษคะแนนความสนใจตามระยะทางโทเค็น ช่วยให้แบบจำลองคาดการณ์บริบทที่ยาวขึ้น

การปรับแบบละเอียดอย่างมีประสิทธิภาพด้วยพารามิเตอร์ (PEFT)

วิธีการปรับโมเดลโดยการฝึกชุดย่อยเล็กๆ ของพารามิเตอร์ที่เพิ่มเข้ามา

AGI (ปัญญาประดิษฐ์ทั่วไป)

ระบบ AI สมมุติที่สามารถทำงานทางปัญญาส่วนใหญ่ในระดับมนุษย์ในหลายโดเมน

ตัวแทนเอไอ

ระบบซอฟต์แวร์ที่สามารถสังเกต ให้เหตุผล และดำเนินการเพื่อให้บรรลุเป้าหมาย โดยมักใช้เครื่องมือและหน่วยความจำ

คำอธิบายประกอบ

ป้ายกำกับหรือข้อมูลเมตาที่เพิ่มโดยมนุษย์ที่ใช้ในการฝึกหรือประเมินโมเดลการเรียนรู้ของเครื่อง

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

Positional Interpolation for Long Context Instant-NGP Hash Encoding Byte-Pair Encoding Tokenization and Byte Pair Encoding

ดูเพิ่มเติม

Multi-Head Attention Flash Attention QLoRA Sliding Window Attention DPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of Thoughts SentencePiece

เรียกดูอภิธานศัพท์ AI ฉบับเต็ม สำรวจคำแนะนำ AI ฟรีทั้งหมด