Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Hỗn hợp các câu đố của chuyên gia LoRA

Kiểm tra các bản cập nhật xếp hạng thấp của LoRA, cổng chuyên gia, trọng số cơ sở cố định, kỹ năng tổng hợp và định tuyến trên mỗi lớp cho các bộ điều hợp hỗn hợp.

Đường dẫn hướng dẫn liên quanHỗn hợp của các chuyên gia Lora
Câu hỏi 1 của 8

Phần 'LoRA' trong Hỗn hợp của các chuyên gia LoRA đề cập đến điều gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Phần 'LoRA' trong Hỗn hợp của các chuyên gia LoRA đề cập đến điều gì?
    • Thích ứng cấp thấp, huấn luyện các ma trận cấp thấp nhỏ thay vì trọng số đầy đủ
    • Một mô hình khen thưởng học tập củng cố
    • Cơ chế chú ý tầm xa
    • Đường dẫn tải dữ liệu cho bộ điều hợp
  2. Công việc của mạng cổng/bộ định tuyến trong MoLE là gì?
    • Để nén trọng số của mô hình cơ sở
    • Để quyết định nên kích hoạt chuyên gia nào và với trọng số nào cho đầu vào nhất định
    • Để tạo dữ liệu đào tạo cho bộ điều hợp
    • Để chuyển văn bản thành nội dung nhúng
  3. Tại sao MoLE thường tốt hơn việc đào tạo một bộ điều hợp cho nhiều nhiệm vụ hỗn hợp?
    • Nó sử dụng nhiều bộ nhớ GPU hơn theo thiết kế
    • Nó loại bỏ sự cần thiết của bất kỳ mô hình cơ sở nào
    • Nó làm giảm sự can thiệp và quên bằng cách giữ các kỹ năng trong các chuyên gia có thể tổng hợp riêng biệt
    • Nó chỉ hoạt động trên một ngôn ngữ duy nhất
  4. Trong LoRA, việc cập nhật trọng số thường được thể hiện dưới dạng nào sau đây?
    • Một ma trận dày đặc đầy đủ thay thế W
    • Một hệ số vô hướng đơn trên W
    • Một ma trận nhiễu ngẫu nhiên được thêm vào mỗi bước
    • Tích của hai ma trận bậc thấp, B nhân A
  5. Trong quá trình đào tạo MoLE, điều gì thường xảy ra với các trọng số được huấn luyện trước của mô hình cơ sở?
    • Chúng vẫn bị treo trong khi chỉ có bộ điều hợp và bộ định tuyến được đào tạo
    • Họ được đào tạo lại hoàn toàn từ đầu
    • Chúng bị xóa và xây dựng lại
    • Chúng được lượng tử hóa thành một bit
  6. Trong các mô hình hình ảnh khuếch tán, cổng phân cấp/mỗi lớp trong MoLE giúp giải quyết vấn đề gì?
    • Tải xuống internet chậm
    • Nhiều LoRA khái niệm áp đảo lẫn nhau khi được sáng tác
    • Thiếu dữ liệu đào tạo
    • Định dạng tệp không chính xác
  7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
    • It must retrain the pretrained backbone for every prompt
    • It can use only one expert for all inputs
    • It can select or weight experts conditionally for a task or layer
    • It removes every low-rank matrix before inference
  8. In a LoRA update with rank r, what does r control most directly?
    • The number of decoder tokens generated
    • The number of original model layers removed
    • The size of the training vocabulary
    • The dimension of the low-rank factors and thus the capacity and parameter cost of the update