Câu đố về tế bào trí nhớ ngắn hạn dài

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
   • Cổng đọc, viết và thực thi
   • Cổng bắt đầu, dừng và tạm dừng
   • Quên, cổng đầu vào và đầu ra
   • Mã hóa, giải mã và tham dự cổng
2. What training difficulty was LSTM designed to mitigate?
   • Quá nhiều thông số cần lưu trữ
   • Vanishing gradients during learning over long sequences
   • Không thể sử dụng GPU
   • Thiếu chức năng kích hoạt
3. Ai đã giới thiệu LSTM và vào năm nào?
   • Vaswani và cộng sự năm 2017
   • Rumelhart và Hinton năm 1986
   • LeCun và Bengio năm 2012
   • Hochreiter và Schmidhuber năm 1997
4. In a common LSTM cell update, why can the additive cell-state path help gradient flow?
   • It reduces reliance on repeated multiplicative transformations across time steps
   • Nó nhân trạng thái với một số lượng lớn mỗi bước
   • Nó xóa trạng thái mỗi bước
   • Nó đóng băng tất cả trọng lượng trong quá trình tập luyện
5. Cổng LSTM thường sử dụng chức năng kích hoạt nào để hoạt động như công tắc bật/tắt mềm?
   • ReLU, xuất 0 đến vô cùng
   • Softmax về từ vựng
   • Hàm bước xuất ra chính xác 0 hoặc 1
   • Sigmoid, xuất ra 0 đến 1
6. Tại sao Transformers thay thế phần lớn LSTM trong mô hình hóa ngôn ngữ quy mô lớn?
   • Máy biến áp hoàn toàn không thể xử lý văn bản
   • LSTM không cần đào tạo
   • Máy biến áp song song trong một chuỗi và nắm bắt bối cảnh tầm xa thông qua sự chú ý
   • Máy biến áp sử dụng tổng số lượng ít hơn nhiều
7. If an LSTM forget gate is near one and its input gate near zero, what happens to the cell state?
   • It largely retains the previous state
   • It is forced to zero
   • It becomes the raw input token
   • It must reverse the sequence
8. Which gate controls how much of an LSTM cell’s stored state is exposed as output?
   • The forget gate alone
   • The output gate
   • The optimizer momentum term
   • The positional encoding gate