Tiếp theoHướng dẫn tiếp theo
ML cốt lõi cho Triển khai Apple trên thiết bị
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Lõi Tensor
Lõi Tensor là các đơn vị phần cứng chuyên dụng bên trong GPU NVIDIA hiện đại, thực hiện các hoạt động nhân và tích lũy ma trận cực kỳ nhanh.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Chúng là lý do chính khiến một GPU có thể huấn luyện và chạy các mạng lưới thần kinh lớn với tốc độ nhanh hơn mức mà tính toán cho mục đích chung cho phép.
Lặn sâu
Được giới thiệu cùng với kiến trúc Volta vào năm 2017, Tensor Core là các mạch chuyên dụng tính toán phép nhân ma trận nhỏ cộng với phép cộng (D = A x B + C) trong một thao tác duy nhất, thay vì thực hiện từng phép nhân một lần trên các lõi CUDA tiêu chuẩn. Bởi vì hầu như mọi lớp của mạng lưới thần kinh đều giảm xuống thành phép nhân ma trận, điều này phù hợp với toán học mà AI thực sự cần. Mỗi thế hệ GPU mở rộng những gì chúng xử lý: Volta tạo ra các ô 4x4 FP16, trong khi các kiến trúc Ampere, Hopper và Blackwell sau này bổ sung các định dạng có độ chính xác thấp hơn như TF32, BF16, INT8, FP8 và FP4. Độ chính xác thấp hơn có nghĩa là nhiều số được xử lý hơn trên mỗi đồng hồ, tăng đáng kể thông lượng cho quá trình đào tạo và suy luận trong khi vẫn giữ được độ chính xác ở mức chấp nhận được.
Triển khai trong thế giới thực
Đào tạo các mô hình ngôn ngữ lớn như máy biến áp kiểu GPT, trong đó hàng tỷ phép nhân ma trận mỗi bước chạy trên Lõi Tensor trong BF16 hoặc FP8.
Chạy suy luận thời gian thực cho chatbot và trình tạo hình ảnh, sử dụng lượng tử hóa INT8 hoặc FP8 để phục vụ nhiều người dùng hơn trên mỗi GPU.
Tăng tốc NVIDIA DLSS trong trò chơi điện tử, trong đó mạng thần kinh nâng cấp các khung hình có độ phân giải thấp hơn bằng cách sử dụng Tensor Cores cho mỗi khung hình.
Tăng tốc điện toán khoa học như mô hình gấp protein (AlphaFold) và mô hình thời tiết đã được định dạng lại dưới dạng khối lượng công việc thần kinh nặng về ma trận.
Tương lai của lõi Tensor
Lõi Tensor tiếp tục hướng tới độ chính xác ngày càng thấp hơn: Hopper đã thêm FP8 và Blackwell giới thiệu FP4 4 bit với khả năng mở rộng được quản lý bằng phần cứng, tăng gần gấp đôi thông lượng mỗi bước cho khối lượng công việc nặng về suy luận. Mong đợi sự hỗ trợ chặt chẽ hơn cho độ thưa (bỏ qua trọng số bằng 0), các định dạng vi mô gắn các hệ số tỷ lệ vào các khối số nhỏ và tích hợp sâu hơn với hệ thống bộ nhớ để các lõi luôn được cung cấp năng lượng. Khi các mô hình phát triển, công cụ ma trận, chứ không phải tốc độ xung nhịp thô, vẫn là chiến trường trung tâm cho hiệu suất phần cứng AI.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chi phí và ngân sách. Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
- Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
- Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
coi chừng
- Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
- Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
- Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Các bước tiếp theo
- Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
- Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
- Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
- Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Tensor Cores quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Lõi Tensor là gì?
Lõi Tensor là các đơn vị phần cứng chuyên dụng bên trong GPU NVIDIA hiện đại, thực hiện các hoạt động nhân và tích lũy ma trận cực kỳ nhanh. Chúng là lý do chính khiến một GPU có thể huấn luyện và chạy các mạng lưới thần kinh lớn với tốc độ nhanh hơn tốc độ tính toán cho mục đích chung.
Hoạt động toán học cốt lõi nào được Tensor Cores thiết kế đặc biệt để tăng tốc?
Lõi Tensor thực hiện phép nhân ma trận hợp nhất cộng với tích lũy trong một bước, đây chính xác là hoạt động chi phối các lớp mạng thần kinh.
Kiến trúc GPU NVIDIA nào lần đầu tiên giới thiệu Tensor Cores?
Tensor Cores ra mắt với kiến trúc Volta vào năm 2017, bắt đầu với các hoạt động ma trận FP16 4×4.
Tại sao Tensor Cores thường sử dụng độ chính xác thấp hơn như FP16 hoặc FP8?
Sử dụng ít bit hơn trên mỗi số có nghĩa là có nhiều giá trị hơn chảy qua phần cứng trong mỗi chu kỳ, tốc độ tăng lên đáng kể chỉ với độ chính xác bị mất ở mức độ nhỏ, thường có thể chấp nhận được.
Để duy trì độ chính xác, Tensor Core thường sử dụng độ chính xác nào cho tổng hiện hành (tích lũy)?
Đầu vào có thể có độ chính xác thấp nhưng bộ tích lũy thường chạy ở độ chính xác cao hơn như FP32 để hạn chế tích tụ các lỗi làm tròn.
Các khung AI hàng ngày như PyTorch tận dụng Tensor Cores như thế nào?
Các thư viện cơ bản tự động chia các hoạt động ma trận lớn thành các ô có kích thước Tensor-Core, do đó các khung có thể tăng tốc mà không cần mã hóa thủ công.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này