Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ
Bài kiểm tra tổng hợp đồ thị torch.compile và PyTorch 2
Hiểu vai trò chụp và phụ trợ của torch.compile, ngắt biểu đồ, chi phí biên dịch, chuyên môn hóa hình dạng và kiểm tra hiệu suất công bằng.
Câu hỏi 1 của 8
Torch.compile cố gắng làm gì với phép tính PyTorch tương thích?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Torch.compile cố gắng làm gì với phép tính PyTorch tương thích?
- Viết lại nhãn huấn luyện của mô hình
- Đảm bảo tốc độ tăng tốc giống nhau cho mọi khối công việc
- Ghi lại và biên dịch các thao tác tensor tương thích để thực thi tối ưu
- Thay thế hàm mục tiêu của mô hình
- Thành phần nào thường ghi lại khung Python trong biên dịch PyTorch 2?
- TorchInductor
- TorchDynamo
- TorchScript
- Tự động tốt nghiệp
- TorchInductor thường cung cấp gì?
- Ghi lại khung và đồ thị Python
- Quản lý trạng thái tối ưu hóa
- Lập lô dữ liệu và hoán vị
- Một backend trình biên dịch tạo mã tối ưu
- Tại sao lần gọi biên dịch đầu tiên có thể chậm hơn thực thi ngay lập tức?
- Việc theo dõi và biên dịch làm tăng khối lượng công việc cho lần gọi đầu tiên
- Lần gọi đầu tiên luôn sử dụng một batch huấn luyện lớn hơn
- Việc ghi lại đồ thị loại bỏ các thao tác GPU
- Đầu ra đầu tiên không được tính toán
- Với hành vi đồ thị một phần mặc định, điều gì có thể xảy ra khi một phần của quá trình thực thi không thể được ghi lại?
- Toàn bộ mô hình chắc chắn sẽ gây ra lỗi
- Một vùng chưa được ghi lại có thể chạy ngay lập tức trước khi việc ghi lại tiếp tục
- Phép toán không được hỗ trợ bị loại bỏ khỏi đầu ra
- Bộ tối ưu tự động thay đổi tốc độ học
- Điều gì có thể xảy ra khi các hình dạng đầu vào thay đổi?
- Một lỗi bảo vệ có thể kích hoạt một quá trình biên dịch chuyên biệt khác
- Tất cả các hình dạng được đệm về cùng một kích thước một cách tự động
- Mô hình đã biên dịch bỏ qua các hình dạng đầu vào trong tương lai
- Một bộ dữ liệu mới được tạo cho mỗi hình dạng
- Nhóm nên đánh giá tốc độ biên dịch được tuyên bố như thế nào?
- Chỉ tính thời gian cho lần gọi đầu tiên và gọi đó là trạng thái ổn định
- Bỏ qua việc tải dữ liệu và đồng bộ hóa
- Sử dụng các mô hình và lô khác nhau trong mỗi phép đo
- So sánh hiệu suất toàn bộ đã ấm nóng trên các đầu vào đại diện
- Cần kiểm tra gì sau khi bật biên dịch cho huấn luyện?
- Kết quả và gradient phù hợp với thực thi ngay lập tức
- Nhật ký biên dịch không chứa cảnh báo
- Thông lượng ấm nóng cao hơn chế độ ngay lập tức
- Bộ nhớ đỉnh thấp hơn chế độ ngay lập tức