Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ
Bài kiểm tra về hạt nhân biểu diễn và sự chú ý tuyến tính
Kiểm tra chi phí chuỗi của chú ý softmax, sắp xếp lại kết hợp, xấp xỉ hạt nhân FAVOR+, các tính năng ngẫu nhiên và độ phức tạp tuyến tính.
Câu hỏi 1 của 8
Tại sao sự chú ý của softmax tiêu chuẩn lại kém theo độ dài chuỗi?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Tại sao sự chú ý của softmax tiêu chuẩn lại kém theo độ dài chuỗi?
- Thời gian và bộ nhớ của nó tăng theo bình phương độ dài chuỗi
- Nó yêu cầu sắp xếp tất cả các mã thông báo theo thứ tự bảng chữ cái
- Nó chỉ có thể xử lý một mã thông báo tại một thời điểm
- Nó cần một mạng lưới thần kinh riêng cho mỗi mã thông báo
- Thuộc tính toán học nào giúp sự chú ý tuyến tính tránh được ma trận n-by-n?
- Tính giao hoán của phép cộng
- Tính kết hợp của phép nhân ma trận
- Luật phân phối của softmax
- Phân rã giá trị riêng
- Cơ chế FAVOR+ của Người biểu diễn gần đúng như thế nào?
- Cập nhật giảm độ dốc
- Từ vựng về tokenizer
- Hạt nhân chú ý softmax
- Thống kê chuẩn hóa lớp
- Tại sao Trình biểu diễn sử dụng các tính năng ngẫu nhiên dương thay vì các tính năng lượng giác trước đó?
- Chúng chỉ chạy nhanh hơn trên CPU
- Chúng loại bỏ sự cần thiết của bất kỳ sự ngẫu nhiên nào
- Họ làm cho mô hình hoàn toàn có thể diễn giải được
- Chúng đảm bảo trọng số chú ý không âm và cải thiện độ ổn định về số
- Độ phức tạp gần đúng của sự chú ý tuyến tính kiểu Người biểu diễn trong độ dài chuỗi n là bao nhiêu?
- O(n)
- O(n^2)
- O(n log n)
- O(2^n)
- Hạn chế chung của sự chú ý tuyến tính thuần túy so với sự chú ý softmax đầy đủ là gì?
- Nó không thể chạy trên GPU
- Nó thường đạt được chất lượng mô hình thấp hơn một chút
- Nó chỉ hoạt động cho hình ảnh
- Nó yêu cầu dữ liệu được gắn nhãn cho mỗi mã thông báo
- For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
- Compute QK^T and store every pairwise score
- Apply softmax to the full n-by-n matrix first
- Compute phi(K)^T V before multiplying by phi(Q)
- Multiply the final output by the sequence length
- What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
- It guarantees exact softmax for every sequence
- It removes the need for query and key vectors
- It makes attention quadratic in sequence length
- It reduces variance in the random-feature estimate