Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Câu đố về luật chia tỷ lệ của Chinchilla
Kiểm tra các phát hiện về ngân sách đào tạo của Chinchilla, ví dụ 70B/1,4T, tỷ lệ mở rộng, tính toán gần đúng và sự khác biệt với tối ưu hóa triển khai.
Câu hỏi 1 của 8
Việc Chinchilla phát hiện ra rằng các tham số và mã thông báo sẽ có tỷ lệ tương tự nhau có ý nghĩa gì?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Việc Chinchilla phát hiện ra rằng các tham số và mã thông báo sẽ có tỷ lệ tương tự nhau có ý nghĩa gì?
- Cả hai sẽ phát triển với số mũ tỷ lệ tương đương theo mục tiêu tính toán đào tạo đã nghiên cứu
- Số lượng mã thông báo số phải bằng số lượng tham số
- Dữ liệu huấn luyện không ảnh hưởng đến tổn thất trang bị
- Mỗi lần triển khai phải chọn mô hình lớn nhất có thể
- Thí nghiệm Chinchilla 70B-tham số, 1,4T-mã thông báo minh họa tỷ lệ mã thông báo trên mỗi tham số nào?
- Chính xác một mã thông báo cho mỗi tham số
- Khoảng hai nghìn mã thông báo cho mỗi tham số
- Khoảng 20 mã thông báo đào tạo cho mỗi tham số
- Tỷ lệ chỉ được xác định bởi số lượng GPU
- Mô hình nào Chinchilla vượt trội hơn dù nhỏ hơn nhiều?
- GPT-2
- chuột túi
- BERT
- Mamba
- Chinchilla đã ám chỉ điều gì về những mẫu xe như GPT-3 vào thời điểm đó?
- Họ đã được đào tạo quá mức
- Họ có quá ít máy tính
- Họ đã sử dụng sai tokenizer
- Họ đã được huấn luyện chưa đầy đủ so với quy mô của họ
- Đại khái tính toán được tính gần đúng như thế nào trong phân tích Chinchilla?
- Chỉ tỷ lệ thuận với số lượng GPU
- Không phụ thuộc vào kích thước dữ liệu
- Tỷ lệ thuận với tham số lần mã thông báo đào tạo
- Tỷ lệ thuận với kích thước từ vựng
- Tại sao mục tiêu triển khai có thể ưu tiên một mô hình nhỏ hơn được đào tạo trên dữ liệu bổ sung thay vì chỉ tối ưu hóa tính toán đào tạo?
- Repeated inference costs can matter alongside the initial training budget
- Inference has no resource cost for any model
- The Chinchilla study proved every scaling relationship false
- More data always reduces both training and serving work to zero
- Under the approximation that training compute is proportional to N times D, how must D change if N doubles while that compute budget stays fixed?
- D must also double
- D must quadruple
- D must remain unchanged
- D must approximately halve
- Which three types of term appear in Chinchilla’s parametric loss fit?
- Only GPU count, electricity price, and elapsed seconds
- An irreducible base term, a model-size contribution, and a data-size contribution
- Only vocabulary size, file size, and model name
- Only a linear token count with no model-size term