Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra cắt tỉa và thả lớp có cấu trúc

Kiểm tra lý do tại sao việc cắt tỉa có cấu trúc lại tăng tốc độ suy luận, mức độ quan trọng của lớp được ước tính và cách tinh chỉnh hoặc chưng cất phục hồi chất lượng.

Đường dẫn hướng dẫn liên quanCắt tỉa có cấu trúc và thả lớp
Câu hỏi 1 của 8

Tại sao việc cắt tỉa có cấu trúc tạo ra sự tăng tốc thực sự trong khi việc cắt tỉa không có cấu trúc thường không?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Tại sao việc cắt tỉa có cấu trúc tạo ra sự tăng tốc thực sự trong khi việc cắt tỉa không có cấu trúc thường không?
    • Việc cắt tỉa có cấu trúc sẽ loại bỏ các khối mạch lạc thực sự làm co các tensor
    • Cắt tỉa không có cấu trúc làm tăng kích thước mô hình
    • Cắt tỉa có cấu trúc thêm nhiều lớp hơn
    • Việc cắt tỉa không có cấu trúc chỉ hoạt động trên CPU
  2. 'Giảm lớp' trong bối cảnh máy biến áp là gì?
    • Giảm tốc độ học tập trên mỗi lớp
    • Xóa toàn bộ khối máy biến áp để giảm độ sâu mô hình
    • Thêm bỏ học vào mỗi lớp
    • Sắp xếp lại các lớp một cách ngẫu nhiên
  3. Tín hiệu nào thường chỉ ra rằng lớp biến áp có thể được thả xuống một cách an toàn?
    • Lớp có nhiều tham số nhất
    • Lớp này là lớp đầu tiên trong mạng
    • Trạng thái ẩn đầu vào và đầu ra của lớp rất giống nhau
    • Lớp sử dụng nhiều bộ nhớ nhất
  4. Bước nào thường phục hồi độ chính xác sau khi cắt tỉa có cấu trúc?
    • Chỉ tăng kích thước lô
    • Định lượng lại thành 16 bit
    • Thêm nhiều sự chú ý hơn
    • Một vòng tinh chỉnh hoặc chắt lọc kiến thức ngắn
  5. Những người đứng đầu chú ý đến từng cá nhân thường được xếp hạng như thế nào để cắt tỉa?
    • Do sự gia tăng tổn thất khi đầu bị che (độ nhạy)
    • Theo thứ tự bảng chữ cái
    • Theo vị trí của chúng trong từ vựng
    • Theo số lượng token họ đã thấy
  6. Ứng dụng thực tế chính của việc cắt tỉa có cấu trúc kết hợp với chưng cất là gì?
    • Tự động tạo dữ liệu đào tạo
    • Tạo ra một nhóm các mô hình nhỏ hơn, nhanh hơn từ một điểm kiểm tra lớn
    • Mã hóa trọng số mô hình
    • Tăng độ dài cửa sổ ngữ cảnh
  7. Why can a smaller student recover some function of a pruned model during distillation?
    • It restores the deleted weights in place
    • It changes the test labels
    • It is trained to match useful outputs or behavior of the larger teacher
    • It removes the need for validation
  8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
    • The layer is guaranteed to be useless for every task
    • The model must add another layer
    • The output has no features
    • The layer changed the representation relatively little and may be a candidate for dropping