Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra thiên vị vị trí ALiBi

Kiểm tra cách ALiBi bổ sung các thành kiến ​​chú ý dựa trên khoảng cách và hỗ trợ các chuỗi suy luận dài hơn mà không cần học các bảng vị trí tuyệt đối.

Đường dẫn hướng dẫn liên quanXu hướng vị trí ngoại phạm
Câu hỏi 1 của 8

ALiBi có nghĩa là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. ALiBi có nghĩa là gì?
    • Chú ý với độ lệch tuyến tính
    • Xu hướng tuyến tính thích ứng
    • Mã hóa hai chiều được căn chỉnh
    • Lập chỉ mục tuyến tính tuyệt đối
  2. ALiBi xử phạt các token ở xa như thế nào?
    • Bằng cách loại bỏ các phần nhúng ngoài một cửa sổ cố định
    • Bằng cách thêm một hình phạt tỷ lệ thuận với khoảng cách giữa truy vấn và vị trí chính
    • Bằng cách học cách nhúng riêng cho từng vị trí
    • Bằng cách xoay truy vấn và vectơ khóa
  3. Ưu điểm thực tế nổi tiếng nhất của ALiBi là gì?
    • Nó loại bỏ sự cần thiết của softmax
    • Nó làm cho sự chú ý chạy trong bộ nhớ liên tục
    • Nó ngoại suy tốt cho các chuỗi dài hơn so với các chuỗi được thấy trong quá trình huấn luyện
    • Nó loại bỏ sự cần thiết của nhiều người đứng đầu chú ý
  4. Có gì khác biệt về độ lệch tuyến tính giữa các đầu sự chú ý?
    • Mỗi đầu có cùng độ dốc
    • Các độ dốc được học trong quá trình luyện tập
    • Chỉ người đứng đầu đầu tiên nhận được sự thiên vị
    • Mỗi đầu có độ dốc cố định riêng, tạo thành một chuỗi hình học
  5. So với các nhúng nhúng vị trí truyền thống, ALiBi bổ sung thêm bao nhiêu tham số đã học?
    • Không có - độ dốc thiên vị là cố định, không được học
    • Một cho mỗi vị trí
    • Một cho mỗi mã thông báo
    • Hai mỗi đầu chú ý
  6. Mô hình lớn nổi tiếng nào đã sử dụng ALiBi để biết thông tin vị trí?
    • GPT-2
    • HOA
    • BERT
    • Word2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position