Bài kiểm tra hợp nhất mô hình

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Việc hợp nhất mô hình chủ yếu kết hợp những gì?
   • Trọng số (tham số) của nhiều mô hình
   • Tập dữ liệu huấn luyện của nhiều mô hình
   • Dự đoán đầu ra của nhiều mô hình tại thời điểm suy luận
   • Các bộ tăng tốc phần cứng được sử dụng để đào tạo
2. 'Vectơ nhiệm vụ' được mô tả tốt nhất là:
   • Danh sách các nhiệm vụ mà mô hình có thể thực hiện
   • Sự khác biệt giữa trọng lượng của mô hình tinh chỉnh và trọng lượng của mô hình cơ sở
   • Một vectơ mã thông báo đầu vào cho một tác vụ
   • Độ dốc được tính toán trong một bước huấn luyện
3. In the described weight-space merging methods, what can be avoided?
   • Evaluation of the merged checkpoint
   • Compatibility requirements between model weights
   • Additional gradient training and access to the original training data
   • Testing the result on intended tasks
4. How do TIES-Merging and DARE differ in addressing parameter interference?
   • Both use the same sign-voting method and differ only in scale
   • DARE uses prompt engineering while TIES retrains on joint data
   • Both average model outputs instead of changing weights
   • They use different techniques: TIES resolves sign conflicts, while DARE drops and rescales task-vector entries
5. Điều kiện tiên quyết quan trọng để hai mô hình được hợp nhất thành công là chúng:
   • Chia sẻ cùng một kiến trúc và thường bắt nguồn từ một mô hình cơ sở chung
   • Đã được đào tạo về dữ liệu giống hệt nhau
   • Có số bước luyện tập giống hệt nhau
   • Chỉ sử dụng cùng một kích thước từ vựng mã thông báo
6. In task arithmetic, what do coefficients control when combining task vectors?
   • Which tokenizer each checkpoint must use
   • How strongly each parameter-change vector contributes to the merged checkpoint
   • How many training examples are generated
   • Whether an evaluation set is required
7. What are the three main stages named by TIES-Merging?
   • Tokenize text, infer emotions, and export audio
   • Quantize weights, shard GPUs, and route network packets
   • Trim small changes, elect a sign direction, then merge aligned parameter updates
   • Train a reward model, collect labels, and run PPO
8. Why should teams evaluate each task after a model merge?
   • Merging guarantees every benchmark improves
   • Evaluation is needed only to calculate the file size
   • A merged model cannot be run without retraining
   • Combining weight updates can create interference or reduce performance on a task