แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบการเปิดใช้งาน SwiGLU และ Gated

ทดสอบการฉายภาพแบบมีรั้วรอบขอบชิด ประตู SiLU การแลกเปลี่ยนต้นทุนพารามิเตอร์ และเหตุใดความกว้างที่ซ่อนอยู่จึงเปลี่ยนแปลงเมื่อ SwiGLU แทนที่ MLP มาตรฐาน

เส้นทางแนะนำที่เกี่ยวข้องการเปิดใช้งาน Swiglu และ Gated
คำถาม 1 ของ 8

การดำเนินการหลักใดที่กำหนด Gated Linear Unit

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การดำเนินการหลักใดที่กำหนด Gated Linear Unit
    • การคูณเชิงองค์ประกอบของการฉายภาพหนึ่งภาพด้วยการฉายภาพครั้งที่สองที่เปิดใช้งาน
    • บวกเส้นโครงเชิงเส้นสองตัวเข้าด้วยกัน
    • เชื่อมต่อหัวความสนใจ
    • แบ่งการเปิดใช้งานตามบรรทัดฐาน
  2. SwiGLU ใช้สำหรับฟังก์ชันการเปิดใช้งานใดสำหรับสาขาเกต
    • รีลู
    • หวด (SiLU)
    • ทานห์
    • ซอฟท์แม็กซ์
  3. บล็อกป้อนไปข้างหน้าของ SwiGLU ใช้เมทริกซ์น้ำหนักจำนวนเท่าใด
    • หนึ่ง
    • สอง
    • สาม
    • สี่
  4. เหตุใดมิติที่ซ่อนอยู่จึงมักปรับขนาดเป็นประมาณสองในสามในเลเยอร์ SwiGLU
    • เพื่อปรับปรุงความแม่นยำเชิงตัวเลข
    • เพื่อให้โมเดลมีความลึกมากขึ้น
    • เพื่อขจัดความจำเป็นในการทำให้เป็นมาตรฐาน
    • เพื่อให้พารามิเตอร์รวมและ FLOP สามารถเทียบเคียงได้กับ MLP มาตรฐาน แม้จะมีเมทริกซ์เพิ่มเติมก็ตาม
  5. คุณสมบัติที่โดดเด่นของ Swish เมื่อเปรียบเทียบกับ ReLU คือ:
    • ราบรื่นและไม่ซ้ำซากจำเจ ทำให้เกิดภาพเนกาทีฟเล็กน้อย
    • เพิ่มขึ้นอย่างเคร่งครัดและต่อยอดที่ 1
    • เหมือนกับฟังก์ชันซิกมอยด์
    • กำหนดไว้สำหรับอินพุตเชิงบวกเท่านั้น
  6. ใครเป็นคนทำให้ SwiGLU เป็นที่นิยมสำหรับเลเยอร์ฟีดฟอร์เวิร์ดของหม้อแปลงในปี 2020
    • เจฟฟรีย์ ฮินตัน
    • โนม ชาเซียร์
    • ยานน์ เลอคุน
    • อันเดรจ คาร์ปาธี
  7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
    • The entire Transformer layer is skipped
    • The output projection is replaced by a sigmoid
    • The matching value-branch dimension contributes little to the output
    • The value branch is permanently frozen
  8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
    • The SiLU gate removes the output projection
    • SwiGLU computes a full Hessian
    • The value branch has no learned weights
    • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs