Câu đố chú ý chéo

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Sự khác biệt chính giữa sự chú ý của bản thân và sự chú ý chéo là gì?
   • Trong sự chú ý chéo, các truy vấn đến từ một chuỗi và các khóa/giá trị từ một chuỗi khác
   • Chú ý chéo không sử dụng softmax
   • Tự chú ý chỉ hoạt động trên hình ảnh
   • Không thể rèn luyện sự chú ý chéo bằng cách giảm độ dốc
2. Trong Transformer mã hóa-giải mã, các truy vấn để thu hút sự chú ý chéo đến từ đâu?
   • Đầu ra của bộ mã hóa
   • Trạng thái hiện tại của bộ giải mã
   • Chỉ nhúng đầu vào thô
   • Một ma trận ngẫu nhiên riêng biệt
3. Tại sao hai chuỗi trong sự chú ý chéo có thể có độ dài hoặc phương thức khác nhau?
   • Bởi vì sự chú ý đòi hỏi đầu vào có độ dài bằng nhau
   • Bởi vì nó bỏ qua hoàn toàn một trong các chuỗi
   • Bởi vì các truy vấn và khóa đến từ các nguồn độc lập, khác nhau
   • Bởi vì trước tiên nó đệm mọi thứ về một kích thước cố định
4. Khuếch tán ổn định sử dụng sự chú ý chéo như thế nào?
   • Để nén hình ảnh thành các tập tin nhỏ hơn
   • Để dịch văn bản giữa các ngôn ngữ
   • Để loại bỏ tiếng ồn khỏi âm thanh
   • Để điều kiện các vùng hình ảnh được tạo trên dấu nhắc văn bản
5. Sự chú ý chéo chia sẻ phép toán nào với sự tự chú ý?
   • Chú ý đến sản phẩm chấm được chia tỷ lệ bằng softmax
   • Tích chập trên pixel
   • Cập nhật trạng thái định kỳ
   • Bảng tra cứu được mã hóa cứng
6. What gate does Flamingo use to control information flow through its cross-attention layers?
   • A hard threshold initialized to one
   • A tanh gate initialized to zero
   • A fixed residual weight of 0.5
   • A learned vocabulary lookup table
7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
   • Only one image followed by a fixed-length label
   • Only text tokens with no visual inputs
   • Visual and textual data interleaved in arbitrary sequences
   • Only video frames with no text
8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
   • It replaces all text tokens with pixels
   • It prevents any information from passing between modalities
   • It performs only image resizing
   • It lets language-model layers incorporate visual features from image/video inputs