Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bài kiểm tra chuẩn hóa RMSNorm và lớp trước

Kiểm tra số liệu thống kê RMSNorm, vị trí Pre-LN, đường dẫn dư và chuẩn hóa khóa truy vấn mà không gây nhầm lẫn cho các lựa chọn thiết kế độc lập này.

Đường dẫn hướng dẫn liên quanChuẩn hóa Rmsnorm và lớp trước
Câu hỏi 1 của 8

RMSNorm bỏ qua điều gì so với LayerNorm tiêu chuẩn?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. RMSNorm bỏ qua điều gì so với LayerNorm tiêu chuẩn?
    • Phép trừ trung bình (tái định tâm)
    • Tham số thang đo đã học
    • Kết nối dư
    • Hoạt động softmax
  2. RMSNorm chia mỗi vectơ kích hoạt với số lượng bao nhiêu?
    • phương sai của nó
    • Căn bậc hai của nó có nghĩa là bình phương
    • Giá trị tuyệt đối tối đa của nó
    • Định mức L1 của nó
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. Trong khối Pre-LN, lớp chuẩn hóa cố tình giữ nguyên đường dẫn nào?
    • Trọng số chuyển tiếp nguồn cấp dữ liệu
    • Việc nhúng mã thông báo
    • Đầu ra softmax
    • Kết nối còn lại (nhận dạng)
  5. Theo mặc định, dòng mô hình trọng lượng mở hiện đại nào sử dụng RMSNorm?
    • LLaMA, Mistral và Qwen
    • AlexNet và VGG
    • ResNet và khởi động
    • Cơ sở BERT và Máy biến áp nguyên bản
  6. 'QK-norm', một ứng dụng gần đây của RMSNorm là gì?
    • Bình thường hóa nhật ký đầu ra cuối cùng
    • Áp dụng RMSNorm cho các truy vấn và khóa chú ý để kiểm soát tốc độ tăng trưởng logit
    • Định lượng bộ đệm khóa-giá trị
    • Một cách để bỏ qua hoàn toàn việc chuẩn hóa
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block