What is KV Cache? Definition | AI Understanding

คำนิยาม

เทนเซอร์คีย์และค่าที่จัดเก็บไว้จากโทเค็นก่อนหน้าซึ่งช่วยให้หม้อแปลงสร้างโทเค็นใหม่โดยไม่ต้องคำนวณความสนใจในอดีตใหม่

ข้อกำหนดที่เกี่ยวข้อง

การเรียนรู้อย่างต่อเนื่อง

แนวทางการฝึกอบรมที่ช่วยให้โมเดลสามารถเรียนรู้จากข้อมูลใหม่โดยไม่ลืมความรู้เดิม

การสุ่มตัวอย่าง Top-k

กลยุทธ์การถอดรหัสที่สุ่มตัวอย่างจากโทเค็นที่น่าจะถัดไปมากที่สุดเท่านั้น

การเรียนรู้แบบไม่มีผู้ดูแล

รูปแบบการเรียนรู้จากข้อมูลที่ไม่มีป้ายกำกับโดยไม่มีเอาต์พุตเป้าหมายที่ชัดเจน

หน้าต่างบานเลื่อนความสนใจ

รูปแบบความสนใจที่แต่ละโทเค็นเข้าร่วมเฉพาะหน้าต่างขนาดคงที่ของโทเค็นใกล้เคียงเพื่อลดการประมวลผล

ประโยคชิ้น

โทเค็นที่ไม่เชื่อเรื่องภาษาที่เรียนรู้หน่วยคำย่อยโดยตรงจากข้อความดิบโดยไม่ต้องแยกช่องว่างล่วงหน้า

การลงโทษการแสดงตน

การตั้งค่าการถอดรหัสที่ลดความน่าจะเป็นของโทเค็นที่ปรากฏเลย กระตุ้นให้เกิดหัวข้อใหม่

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

KV Cache KV Cache Optimization

ดูเพิ่มเติม

Speculative Decoding MCP (Model Context Protocol)Zero Data Retention Agentic Loop Usage-Based Billing ReAct Trust Calibration Tree of Thoughts

เรียกดูอภิธานศัพท์ AI ฉบับเต็ม สำรวจคำแนะนำ AI ฟรีทั้งหมด