แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบความสนใจเชิงเส้น RWKV

สำรวจประตูรับสัญญาณของ RWKV การเสื่อมของเวลา การเกิดซ้ำของคีย์/ค่า สถานะขนาดคงที่ และแบบฟอร์มการฝึกอบรมแบบขนานที่เหมือน Transformer

เส้นทางแนะนำที่เกี่ยวข้องRwkv ความสนใจเชิงเส้น
คำถาม 1 ของ 8

คุณสมบัติพาดหัวของ RWKV คืออะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. คุณสมบัติพาดหัวของ RWKV คืออะไร?
    • มันฝึกเหมือน Transformer แต่รันการอนุมานเหมือน RNN
    • สามารถฝึกได้เฉพาะรูปภาพเท่านั้น
    • ต้องใช้แคชคีย์-ค่ากำลังสอง
    • มันไม่สามารถขนานได้เลย
  2. ตัวอักษรใน RWKV ย่อมาจากอะไร?
    • อ่าน เขียน เก็บ ตรวจสอบ
    • การรับ น้ำหนัก กุญแจ ค่า
    • เกิดขึ้นอีก, กว้าง, เคอร์เนล, เวกเตอร์
    • สุ่ม ถ่วงน้ำหนัก ความรู้ การเปลี่ยนแปลง
  3. RWKV รักษาหน่วยความจำให้คงที่ระหว่างการสร้างอย่างไร
    • โดยการลบน้ำหนักโมเดล
    • โดยการจัดเก็บทุกโทเค็นไว้ในดิสก์
    • โดยการนำสถานะที่ซ่อนอยู่ที่มีขนาดคงที่ขนาดเล็กไปข้างหน้าแทนการเพิ่มแคช
    • โดยจำกัดเอาต์พุตไว้ที่สิบโทเค็น
  4. น้ำหนักที่ลดลงตามเวลา (W) มีบทบาทอย่างไร?
    • มันกำหนดอัตราการเรียนรู้
    • มันนับจำนวนโทเค็น
    • มันเลือกภาษาเอาท์พุท
    • โดยจะควบคุมว่าข้อมูลเก่าจะสูญเสียอิทธิพลไปเร็วแค่ไหน
  5. เมื่อเปรียบเทียบกับความสนใจแบบ softmax การเกิดซ้ำของความสนใจเชิงเส้นของ RWKV จะหลีกเลี่ยงอะไรได้บ้าง
    • การเปรียบเทียบโทเค็นทุกคู่กำลังสอง
    • การใช้คีย์และค่าใดๆ
    • ความจำเป็นในการฝัง
    • การใช้โครงข่ายประสาทเทียม
  6. เหตุใด RWKV จึงเหมาะสมอย่างยิ่งกับการสร้างสตรีมมิ่ง
    • เพราะจะต้องเห็นอินพุตทั้งหมดก่อนเอาท์พุตใดๆ
    • เนื่องจากโทเค็นใหม่แต่ละรายการจะขึ้นอยู่กับสถานะขนาดคงที่ก่อนหน้าเท่านั้น
    • เนื่องจากไม่สามารถสร้างข้อความได้
    • เพราะมันต้องการคลัสเตอร์ GPU สำหรับทุกโทเค็น
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions