แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบความสนใจเชิงเส้น RWKV
สำรวจประตูรับสัญญาณของ RWKV การเสื่อมของเวลา การเกิดซ้ำของคีย์/ค่า สถานะขนาดคงที่ และแบบฟอร์มการฝึกอบรมแบบขนานที่เหมือน Transformer
คำถาม 1 ของ 8
คุณสมบัติพาดหัวของ RWKV คืออะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- คุณสมบัติพาดหัวของ RWKV คืออะไร?
- มันฝึกเหมือน Transformer แต่รันการอนุมานเหมือน RNN
- สามารถฝึกได้เฉพาะรูปภาพเท่านั้น
- ต้องใช้แคชคีย์-ค่ากำลังสอง
- มันไม่สามารถขนานได้เลย
- ตัวอักษรใน RWKV ย่อมาจากอะไร?
- อ่าน เขียน เก็บ ตรวจสอบ
- การรับ น้ำหนัก กุญแจ ค่า
- เกิดขึ้นอีก, กว้าง, เคอร์เนล, เวกเตอร์
- สุ่ม ถ่วงน้ำหนัก ความรู้ การเปลี่ยนแปลง
- RWKV รักษาหน่วยความจำให้คงที่ระหว่างการสร้างอย่างไร
- โดยการลบน้ำหนักโมเดล
- โดยการจัดเก็บทุกโทเค็นไว้ในดิสก์
- โดยการนำสถานะที่ซ่อนอยู่ที่มีขนาดคงที่ขนาดเล็กไปข้างหน้าแทนการเพิ่มแคช
- โดยจำกัดเอาต์พุตไว้ที่สิบโทเค็น
- น้ำหนักที่ลดลงตามเวลา (W) มีบทบาทอย่างไร?
- มันกำหนดอัตราการเรียนรู้
- มันนับจำนวนโทเค็น
- มันเลือกภาษาเอาท์พุท
- โดยจะควบคุมว่าข้อมูลเก่าจะสูญเสียอิทธิพลไปเร็วแค่ไหน
- เมื่อเปรียบเทียบกับความสนใจแบบ softmax การเกิดซ้ำของความสนใจเชิงเส้นของ RWKV จะหลีกเลี่ยงอะไรได้บ้าง
- การเปรียบเทียบโทเค็นทุกคู่กำลังสอง
- การใช้คีย์และค่าใดๆ
- ความจำเป็นในการฝัง
- การใช้โครงข่ายประสาทเทียม
- เหตุใด RWKV จึงเหมาะสมอย่างยิ่งกับการสร้างสตรีมมิ่ง
- เพราะจะต้องเห็นอินพุตทั้งหมดก่อนเอาท์พุตใดๆ
- เนื่องจากโทเค็นใหม่แต่ละรายการจะขึ้นอยู่กับสถานะขนาดคงที่ก่อนหน้าเท่านั้น
- เนื่องจากไม่สามารถสร้างข้อความได้
- เพราะมันต้องการคลัสเตอร์ GPU สำหรับทุกโทเค็น
- In the guide’s RWKV description, what does the receptance gate control?
- How many image patches are generated
- The size of the model vocabulary
- How much of the accumulated state is read out
- The amount of GPU memory available
- What training property does RWKV retain from Transformers?
- Full quadratic key-value caching at inference
- A separate generator and discriminator
- A fixed top-k token router in every layer
- Parallelizable training across sequence positions