แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบการเปิดใช้งาน SwiGLU และ Gated
ทดสอบการฉายภาพแบบมีรั้วรอบขอบชิด ประตู SiLU การแลกเปลี่ยนต้นทุนพารามิเตอร์ และเหตุใดความกว้างที่ซ่อนอยู่จึงเปลี่ยนแปลงเมื่อ SwiGLU แทนที่ MLP มาตรฐาน
คำถาม 1 ของ 8
การดำเนินการหลักใดที่กำหนด Gated Linear Unit
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- การดำเนินการหลักใดที่กำหนด Gated Linear Unit
- การคูณเชิงองค์ประกอบของการฉายภาพหนึ่งภาพด้วยการฉายภาพครั้งที่สองที่เปิดใช้งาน
- บวกเส้นโครงเชิงเส้นสองตัวเข้าด้วยกัน
- เชื่อมต่อหัวความสนใจ
- แบ่งการเปิดใช้งานตามบรรทัดฐาน
- SwiGLU ใช้สำหรับฟังก์ชันการเปิดใช้งานใดสำหรับสาขาเกต
- รีลู
- หวด (SiLU)
- ทานห์
- ซอฟท์แม็กซ์
- บล็อกป้อนไปข้างหน้าของ SwiGLU ใช้เมทริกซ์น้ำหนักจำนวนเท่าใด
- หนึ่ง
- สอง
- สาม
- สี่
- เหตุใดมิติที่ซ่อนอยู่จึงมักปรับขนาดเป็นประมาณสองในสามในเลเยอร์ SwiGLU
- เพื่อปรับปรุงความแม่นยำเชิงตัวเลข
- เพื่อให้โมเดลมีความลึกมากขึ้น
- เพื่อขจัดความจำเป็นในการทำให้เป็นมาตรฐาน
- เพื่อให้พารามิเตอร์รวมและ FLOP สามารถเทียบเคียงได้กับ MLP มาตรฐาน แม้จะมีเมทริกซ์เพิ่มเติมก็ตาม
- คุณสมบัติที่โดดเด่นของ Swish เมื่อเปรียบเทียบกับ ReLU คือ:
- ราบรื่นและไม่ซ้ำซากจำเจ ทำให้เกิดภาพเนกาทีฟเล็กน้อย
- เพิ่มขึ้นอย่างเคร่งครัดและต่อยอดที่ 1
- เหมือนกับฟังก์ชันซิกมอยด์
- กำหนดไว้สำหรับอินพุตเชิงบวกเท่านั้น
- ใครเป็นคนทำให้ SwiGLU เป็นที่นิยมสำหรับเลเยอร์ฟีดฟอร์เวิร์ดของหม้อแปลงในปี 2020
- เจฟฟรีย์ ฮินตัน
- โนม ชาเซียร์
- ยานน์ เลอคุน
- อันเดรจ คาร์ปาธี
- In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
- The entire Transformer layer is skipped
- The output projection is replaced by a sigmoid
- The matching value-branch dimension contributes little to the output
- The value branch is permanently frozen
- Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
- The SiLU gate removes the output projection
- SwiGLU computes a full Hessian
- The value branch has no learned weights
- SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs