แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบเซลล์หน่วยความจำระยะสั้นระยะยาว
ทดสอบบทบาทของเกต LSTM, การคงสถานะเซลล์, การควบคุมอินพุตและเอาต์พุต, การอัปเดตเพิ่มเติม, โฟลว์การไล่ระดับสี และขีดจำกัดของลำดับ
คำถาม 1 ของ 8
In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
- อ่าน เขียน และดำเนินการเกต
- เริ่ม หยุด และหยุดประตูชั่วคราว
- ประตูลืม อินพุต และเอาต์พุต
- เข้ารหัส ถอดรหัส และเข้าประตู
- What training difficulty was LSTM designed to mitigate?
- มีพารามิเตอร์ที่จะจัดเก็บมากเกินไป
- Vanishing gradients during learning over long sequences
- ไม่สามารถใช้ GPU ได้
- ขาดฟังก์ชั่นการเปิดใช้งาน
- ใครเป็นผู้แนะนำ LSTM และในปีใด
- วาสวานีและเพื่อนร่วมงานในปี 2560
- รูเมลฮาร์ตและฮินตันในปี 1986
- เลอคุน และเบงจิโอ ในปี 2012
- Hochreiter และ Schmidhuber ในปี 1997
- In a common LSTM cell update, why can the additive cell-state path help gradient flow?
- It reduces reliance on repeated multiplicative transformations across time steps
- โดยจะคูณสถานะด้วยตัวเลขจำนวนมากในแต่ละขั้นตอน
- มันจะลบสถานะทุกขั้นตอน
- มันค้างน้ำหนักทั้งหมดระหว่างการฝึกซ้อม
- โดยทั่วไปแล้วเกท LSTM จะใช้ฟังก์ชันการเปิดใช้งานใดเพื่อทำหน้าที่เป็นสวิตช์เปิด/ปิดแบบนุ่มนวล
- ReLU เอาต์พุต 0 ถึงอนันต์
- Softmax เหนือคำศัพท์
- ฟังก์ชันขั้นตอนที่ส่งออกเป็น 0 หรือ 1 พอดี
- ซิกมอยด์ เอาต์พุต 0 ถึง 1
- เหตุใด Transformers จึงเปลี่ยน LSTM เป็นส่วนใหญ่สำหรับการสร้างแบบจำลองภาษาขนาดใหญ่
- Transformers ไม่สามารถจัดการข้อความได้เลย
- LSTM ไม่ต้องการการฝึกอบรม
- หม้อแปลงไฟฟ้าขนานกันตามลำดับและจับบริบทระยะไกลผ่านความสนใจ
- Transformers ใช้ตัวเลขทั้งหมดน้อยกว่ามาก
- If an LSTM forget gate is near one and its input gate near zero, what happens to the cell state?
- It largely retains the previous state
- It is forced to zero
- It becomes the raw input token
- It must reverse the sequence
- Which gate controls how much of an LSTM cell’s stored state is exposed as output?
- The forget gate alone
- The output gate
- The optimizer momentum term
- The positional encoding gate