Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Câu đố về độ sâu hỗn hợp
Kiểm tra bộ định tuyến mã thông báo đã học của MoD, dung lượng top-k cố định, đường dẫn dư cho các mã thông báo bị bỏ qua, hình dạng tĩnh và các biện pháp bảo vệ định tuyến nhân quả.
Câu hỏi 1 của 8
Hỗn hợp độ sâu khác nhau giữa các mã thông báo như thế nào?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Hỗn hợp độ sâu khác nhau giữa các mã thông báo như thế nào?
- Mỗi mã thông báo nhận được bao nhiêu tính toán (lớp nào)
- Từ vựng được sử dụng
- Tập dữ liệu huấn luyện
- Ngôn ngữ đầu ra
- Bộ Quốc phòng làm cách nào để có thể dự đoán được ngân sách điện toán của mình?
- Bằng cách thả ngẫu nhiên một nửa trọng lượng mô hình
- Bằng cách xử lý một phần mã thông báo top-k cố định ở mỗi khối
- Bằng cách sử dụng một mô hình khác nhau cho mỗi câu
- Bằng cách vô hiệu hóa hoàn toàn sự chú ý
- Điều gì xảy ra với các mã thông báo mà bộ định tuyến KHÔNG chọn tại một khối nhất định?
- Chúng bị xóa khỏi chuỗi
- Chúng được gửi đến một mô hình riêng biệt
- Họ bỏ qua khối thông qua kết nối còn lại, đi qua không thay đổi
- Chúng được chuyển đổi thành hình ảnh
- Phòng thí nghiệm nào đã công bố kỹ thuật Mixture of Depths?
- OpenAI vào năm 2019
- Meta vào năm 2015
- Microsoft vào năm 2012
- Google DeepMind vào năm 2024
- Việc kết hợp MoD với Mixture-of-Experts sẽ tạo ra điều gì?
- MoDE, định tuyến theo cả chiều sâu và sự lựa chọn chuyên gia
- Mô hình không có tham số
- Mạng tích chập thuần túy
- Hệ thống chỉ có tokenizer
- Tại sao top-k cố định được ưu tiên hơn ngưỡng mỗi mã thông báo trong MoD?
- Nó làm cho mô hình xuất ra văn bản ngẫu nhiên
- Nó giữ cho hình dạng tensor tĩnh, hiệu quả trên phần cứng
- Nó loại bỏ sự cần thiết phải đào tạo
- Nó làm tăng kích thước từ vựng
- What does the learned router do at a Mixture-of-Depths block?
- Selects a new model family for every prompt
- Predicts labels for the next training batch
- Scores tokens so the block can select which ones receive full attention and MLP computation
- Changes the vocabulary size at inference
- Why does causal generation in MoD use auxiliary predictors for routing?
- To let a model read the entire answer before generating
- To remove the fixed top-k compute budget
- To convert the sequence into an image
- To make routing decisions without looking at future tokens