คู่มือ AI ภาษา

แคช KV

แคช KV จัดเก็บคีย์และเวกเตอร์ค่าที่ Transformer ได้คำนวณไว้แล้วสำหรับโทเค็นก่อนหน้านี้ ดังนั้นจึงไม่จำเป็นต้องคำนวณใหม่สำหรับทุกคำใหม่ที่สร้างขึ้น

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของแคช KV
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

นี่เป็นเหตุผลเดียวที่ใหญ่ที่สุดในการสร้างข้อความที่รวดเร็ว — และสิ่งสำคัญคือการกินหน่วยความจำ GPU ของคุณในระหว่างการสนทนาที่ยาวนาน

เจาะลึก

Transformers สร้างข้อความทีละโทเค็น และชั้นความสนใจของโทเค็นใหม่แต่ละชั้นจำเป็นต้องเปรียบเทียบกับโทเค็นก่อนหน้าทั้งหมด กลไกความสนใจจะเปลี่ยนแต่ละโทเค็นให้เป็นเวกเตอร์คิวรี คีย์ และค่า หากไม่มีการแคช การสร้างโทเค็นจำนวน 1,000 จะหมายถึงการคำนวณคีย์และค่าใหม่สำหรับโทเค็นก่อนหน้าทั้งหมด 999 รายการในทุกขั้นตอน ซึ่งเป็นงานกำลังสองที่สิ้นเปลือง แคช KV จะบันทึกเวกเตอร์คีย์และค่าเหล่านั้นหลังจากที่คำนวณครั้งแรกและนำมาใช้ซ้ำ ดังนั้นแต่ละขั้นตอนใหม่จะคำนวณเฉพาะเวกเตอร์สำหรับโทเค็นใหม่ล่าสุดเพียงรายการเดียวและดูแลผ่านแคชที่เก็บไว้ สิ่งนี้จะลดต้นทุนต่อโทเค็นจากการปรับขนาดด้วยความยาวของลำดับเป็นค่าคงที่โดยประมาณ ข้อเสียเปรียบก็คือหน่วยความจำ: แคชจะเพิ่มขึ้นเป็นเส้นตรงตามความยาวบริบท จำนวนเลเยอร์ และส่วนหัวของความสนใจ ซึ่งมักจะกลายเป็นผู้ใช้หน่วยความจำที่โดดเด่นในการให้บริการตามบริบทแบบยาว

การใช้งานจริงในโลกแห่งความเป็นจริง

เร่งความเร็วการตอบกลับแชทบอทโดยนำคีย์/ค่าที่แคชไว้จากประวัติการสนทนามาใช้ซ้ำ แทนที่จะประมวลผลใหม่ในแต่ละเทิร์น

การแคชคำนำหน้าที่แชร์แคชเพื่อให้ระบบแจ้งเตือนผู้ใช้จำนวนมาก ลดต้นทุนและเวลาแฝง

PagedAttention ของ vLLM จัดการแคช KV ในบล็อกเพื่อรองรับคำขอจำนวนมากพร้อมกันบน GPU ตัวเดียวอย่างมีประสิทธิภาพ

การหาปริมาณแคช KV ให้มีความแม่นยำน้อยลงเพื่อให้พอดีกับบริบทที่ยาวขึ้นในหน่วยความจำ GPU ที่จำกัด

อนาคตของแคช KV

เมื่อหน้าต่างบริบทขยายออกไปเป็นโทเค็นนับแสน แคช KV จะกลายเป็นคอขวดส่วนกลาง ดังนั้นนวัตกรรมจึงรุนแรง: การกำหนดปริมาณแคชเป็น 8 หรือ 4 บิต นโยบายการขับไล่ที่ทิ้งโทเค็นที่มีความสำคัญต่ำ การแชร์คำนำหน้าคำขอข้าม และการลดการโหลดไปยัง CPU หรือดิสก์ การเปลี่ยนแปลงทางสถาปัตยกรรม เช่น ความสนใจแฝงแบบหลายหัวจะบีบอัดแคชเอง คาดว่าจะมีการออกแบบร่วมกันอย่างต่อเนื่องสำหรับรูปแบบความสนใจและระบบหน่วยความจำโดยมุ่งเป้าไปที่การให้บริการบริบทที่ยาวมากในราคาถูกและมีปริมาณงานสูง

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเร็วและขนาด. ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
  • เข้าถึงและเข้าถึง. ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ

ระวัง

  • ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
  • ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
  • ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ

ขั้นตอนต่อไป

  1. กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
  2. การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
  3. รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
  4. ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the KV Cache quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

KV แคชคืออะไร?

แคช KV จัดเก็บคีย์และเวกเตอร์ค่าที่ Transformer ได้คำนวณไว้แล้วสำหรับโทเค็นก่อนหน้านี้ ดังนั้นจึงไม่จำเป็นต้องคำนวณใหม่สำหรับทุกคำใหม่ที่สร้างขึ้น นี่เป็นเหตุผลเดียวที่ใหญ่ที่สุดในการสร้างข้อความที่รวดเร็ว — และสิ่งสำคัญคือการกินหน่วยความจำ GPU ของคุณในระหว่างการสนทนาที่ยาวนาน

แคช KV เก็บอะไร?

แคช KV เก็บคีย์และเวกเตอร์ค่าจากโทเค็นรุ่นก่อนๆ เพื่อให้ความสนใจสามารถนำกลับมาใช้ใหม่แทนการคำนวณใหม่

แคช KV แก้ไขปัญหาอะไรเป็นหลัก

The cache reuses keys and values computed for earlier tokens instead of rebuilding them at every decode step. The new query still attends over cached positions, so attention work and cache memory continue to grow with context length.

ข้อเสียเปรียบหลักของแคช KV คืออะไร?

แคชจะขยายตามความยาว เลเยอร์ และส่วนหัวของลำดับ ซึ่งมักจะกลายเป็นผู้ใช้หน่วยความจำ GPU รายใหญ่ในการให้บริการตามบริบทแบบยาว

เทคนิคใดลดขนาดแคช KV โดยการแชร์คีย์และค่าระหว่าง Attention Heads

การสืบค้นแบบกลุ่มและแบบหลายการสืบค้นทำให้หัวการสืบค้นหลายรายการใช้ชุดคีย์/ค่าร่วมกันน้อยลง ซึ่งจะทำให้แคชเล็กลงอย่างมาก

การอนุมานหม้อแปลงสองเฟสสัมพันธ์กับแคช KV คืออะไร

การเติมล่วงหน้าจะเติมแคชด้วย K/V ของพรอมต์ decode จะผนวก K/V ของโทเค็นใหม่หนึ่งรายการในแต่ละขั้นตอนและเข้าร่วมอีกครั้งบนแคช

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →