Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Câu hỏi tổng quát hóa Grokking và trì hoãn

Khám phá khả năng khái quát hóa bị trì hoãn trên dữ liệu thuật toán, với các thử nghiệm giảm trọng lượng, phân tích mạch Fourier, phép cộng mô-đun và hiệu ứng kích thước tập dữ liệu.

Đường dẫn hướng dẫn liên quanGrokking và khái quát hóa bị trì hoãn
Câu hỏi 1 của 8

Which performance pattern characterizes the studied grokking phenomenon?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Which performance pattern characterizes the studied grokking phenomenon?
    • Held-out accuracy must improve before any training example is learned
    • Training accuracy can never become high
    • Every model loses all training information at once
    • Held-out generalization improves substantially after the training examples have already been fit
  2. Which tasks did the original grokking paper use as a controlled setting?
    • Only large-scale photorealistic image generation
    • Small algorithmically generated tasks such as modular arithmetic
    • Only real-time online advertising auctions
    • Only unlabelled random filenames
  3. Which regularization intervention was among those examined in the original grokking experiments?
    • Weight decay
    • Mandatory deletion of every activation function
    • A proof that all test labels must be randomized
    • Automatic enlargement of the vocabulary on every step
  4. What computation did the cited modular-addition mechanistic study identify in its trained small transformers?
    • A universal rule for every large deployed model
    • Only a table containing every held-out answer
    • A Fourier-based algorithm using trigonometric relationships
    • No identifiable structured computation
  5. Which phase ordering does Progress Measures for Grokking describe in the studied training dynamics?
    • Cleanup, deletion of all data, then no computation
    • Memorization, circuit formation, then cleanup
    • Perfect held-out performance before any circuit formation
    • A mandatory switch to image-only inputs
  6. Việc mò mẫm gợi ý điều gì cho những người thực hành?
    • Luôn dừng huấn luyện khi độ chính xác của huấn luyện đạt 100%
    • Độ chính xác của việc xác thực là không liên quan
    • Ổn định xác nhận sớm không phải lúc nào cũng có nghĩa là mô hình không học được
    • Chính quy hóa không bao giờ nên được sử dụng
  7. For the modular-addition task, what is (6+5) modulo 7?
    • 11
    • 7
    • 1
    • 4
  8. What dataset-size trend did the original grokking paper report in its studied setups?
    • Smaller training datasets required more optimization to reach generalization
    • Smaller datasets always generalized immediately with no optimization
    • Dataset size was never varied
    • Every larger dataset prevented all training accuracy