Tiếp theoHướng dẫn tiếp theo
Các mô hình giám sát không có nhãn thực tế cơ bản
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Mức sử dụng FLOPs của mô hình (MFU) so sánh công việc tính toán dấu chấm nổi ước tính hữu ích của mô hình mỗi giây với thông lượng đỉnh lý thuyết của hệ thống GPU cho độ chính xác liên quan.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Nó giúp đánh giá hiệu quả đào tạo, nhưng giá trị của nó phụ thuộc vào cách tính FLOP của mô hình, định nghĩa đỉnh phần cứng, và công việc nào được bao gồm.
MFU is a ratio intended to describe how much of a system's theoretical compute capability is being used for the model's useful work. A common conceptual formula is estimated model FLOPs executed per second divided by the hardware's theoretical peak FLOPs per second for the same arithmetic precision. For a language model, estimated work per token can be combined with observed token throughput to form the numerator. Both terms require clear definitions. The model-FLOP estimate depends on architecture. Dense layers, attention, sequence length, parameter sharing, mixture-of-experts routing, and training versus inference affect how much work a token requires. The denominator depends on GPU generation, precision mode, and whether the peak assumes specialized units. Using an incompatible peak or counting FLOPs differently can make comparisons misleading. MFU is not GPU utilization from a system monitor. A device may report busy while spending time on memory movement, communication, kernels with low arithmetic intensity, or work not counted in the model-FLOP estimate. Conversely, a high MFU says nothing by itself about model quality, energy efficiency, or whether the training run is cost-effective. Pair it with throughput, latency, memory use, scaling efficiency, power, and evaluation metrics. Published large-scale training reports give context but not a universal goal. Some Megatron-LM results report roughly 30 percent of peak in one setup, while other large-scale reports describe per-GPU or MFU values in the low-to-mid 50 percent range under different models and systems. These figures use particular hardware, parallelism, and accounting choices. They are examples, not an expected range for every model. Use consistent conventions when comparing configurations. Record precision, theoretical peak source, model-FLOP formula, tokens processed, warmup, communication inclusion, and whether results are averaged across devices. Investigate low MFU with profiling rather than assuming the GPU needs replacement.
Một nhóm mô hình ngôn ngữ ước tính FLOPs trên mỗi token, nhân với số token xử lý mỗi giây, và so sánh kết quả với mức đỉnh hỗ trợ của bộ tăng tốc.
Một kỹ sư theo dõi MFU khi kích thước batch thay đổi đồng thời ghi lại số token mỗi giây, thời gian bước và hành vi xác thực.
Báo cáo mở rộng so sánh các chạy một GPU và đa GPU sử dụng cùng quy ước FLOP của mô hình và đỉnh độ chính xác.
Một người đánh giá xem các con số MFU đã công bố như những ví dụ cụ thể cho khối lượng công việc thay vì mục tiêu toàn cục cho một mô hình hoặc cụm khác.
Khi các định dạng tăng tốc và kiến trúc mô hình đa dạng, việc báo cáo MFU sẽ cần các quy ước rõ ràng hơn cho công việc thưa, attention và độ chính xác chuyên biệt. Các bài báo benchmark có thể cải thiện khả năng so sánh bằng cách công bố các giả định về FLOP của mô hình cùng với thông lượng. MFU sẽ vẫn là một chỉ số chẩn đoán trong số nhiều chỉ số khác. Các nhóm nên tập trung vào công việc hữu ích đã đạt được, chi phí, năng lượng và kết quả mô hình thay vì tối ưu hoá tỉ lệ mà không có ngữ cảnh. Các báo cáo trong tương lai có thể cải thiện khả năng so sánh bằng cách công bố các giả định về FLOP của mô hình và các mức đỉnh phần cứng. Các nhóm nên bảo lưu các đo lường thông lượng và năng lượng bên cạnh MFU khi hệ thống phát triển.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Model FLOPs utilization (MFU) so sánh lượng công việc dấu chấm nổi (floating-point) hữu ích ước tính của một mô hình mỗi giây với thông lượng đỉnh lý thuyết của hệ thống GPU cho độ chính xác tương ứng. Nó giúp đánh giá hiệu quả đào tạo, nhưng giá trị của nó phụ thuộc vào cách tính FLOP của mô hình, định nghĩa mức đỉnh phần cứng và công việc nào được bao gồm.
MFU là tỉ lệ giữa tốc độ tính toán ước tính của mô hình và mức tính toán đỉnh cho độ chính xác tương ứng.
Thông lượng đỉnh thay đổi tùy theo định dạng số học, vì vậy độ chính xác phải nhất quán.
Các giả định về kế toán và phần cứng ảnh hưởng đến cả hai phần của tỉ lệ.
Mô hình ước tính công việc sản phẩm mỗi giây, sau đó được chuẩn hóa theo dung lượng đỉnh.
Bộ đếm hoạt động hệ thống và việc sử dụng FLOP của mô hình đo lường những điều khác nhau.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Các mô hình giám sát không có nhãn thực tế cơ bản
kỹ thuật