Tiếp theoHướng dẫn tiếp theo
torch.compile và PyTorch 2 Biên dịch Đồ thị
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
LiteRT là tên hiện tại được sử dụng trong tài liệu Google AI Edge cho thời gian chạy trên thiết bị mà trước đây được gọi là TensorFlow Lite.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Nó hỗ trợ chuyển đổi mô hình và suy luận di động với các tùy chọn tăng tốc phần cứng, nhưng phải kiểm tra người vận hành, đại biểu, định dạng mô hình và khả năng của thiết bị đối với nền tảng đích và phiên bản thời gian chạy.
TensorFlow Lite has been renamed LiteRT in current Google AI Edge documentation, while existing apps and model artifacts may still use TensorFlow Lite terminology. The naming transition does not mean every application must rewrite its code immediately; follow migration guidance for the specific runtime and API being used. Older tutorials may refer to Interpreter APIs, while current docs also describe newer compiled-model paths. A mobile workflow begins with a trained model and a conversion step that produces a supported on-device representation. Conversion can include optimization or quantization. The result must be checked for compatible operators, input shapes, tensor types, and metadata. If conversion reports unsupported operations, a model may need export changes, custom operations, or a different runtime path. At inference time, LiteRT can execute on CPU and may use delegates for supported GPU or NPU hardware. A delegate accelerates operations it supports; unsupported parts may fall back to another device or fail depending on configuration. Availability varies across device models, chipset vendors, runtime packaging, and operating-system versions. Do not assume an NPU delegate is present simply because the phone contains an NPU. Quantization reduces numeric precision and can shrink model size or improve speed, but may change accuracy. Calibration data should represent the intended input distribution for supported post-training quantization methods. Test both resource use and task metrics after conversion. Image color order, normalization, tokenizer settings, and output decoding need to match training. On-device deployment also involves app lifecycle, memory pressure, battery use, installation size, privacy, and version support. Benchmark on physical target devices, including startup and sustained runs. Keep model version and conversion configuration with the app release. LiteRT is a runtime, not a guarantee that a model will be accurate or compatible with every phone.
Nhà phát triển Android chuyển đổi bộ phân loại hình ảnh và so sánh suy luận của CPU với đại biểu GPU hoặc NPU có sẵn.
Một nhóm lượng tử hóa mô hình để giảm bộ nhớ và kiểm tra độ chính xác trên hình ảnh đại diện của điện thoại trước khi phát hành.
Ứng dụng dành cho thiết bị di động chọn thời gian chạy LiteRT được ghi lại cho API đã chọn và tránh trộn lẫn các ví dụ từ các phiên bản TensorFlow Lite cũ hơn.
Một kỹ sư đo tải lạnh, độ trễ ấm, bộ nhớ và năng lượng trên một số thiết bị mục tiêu thay vì chỉ dựa vào điểm chuẩn của máy tính để bàn.
Công cụ Google AI Edge sẽ tiếp tục phát triển chuyển đổi mô hình, API di động và ủy quyền phần cứng. Các ứng dụng TensorFlow Lite hiện tại có thể tiếp tục hoạt động trong khi tài liệu và gói mới sử dụng tên LiteRT. Các nhóm nên theo dõi hướng dẫn di chuyển và thử nghiệm các bản nâng cấp thời gian chạy trên ma trận thiết bị được hỗ trợ của họ. Khả năng tăng tốc phần cứng sẽ vẫn dành riêng cho từng thiết bị, do đó, tính di động đòi hỏi các dự phòng được đo lường và các yêu cầu tối thiểu rõ ràng. Tên thời gian chạy và API sẽ tiếp tục thay đổi khi phần cứng di động phát triển. Tách biệt công việc di chuyển khỏi hoạt động kiểm tra chất lượng mô hình và duy trì điểm chuẩn trên các lớp thiết bị đại diện. Hỗ trợ đại biểu phải được kiểm tra lại trước khi cập nhật được gửi đi.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
LiteRT là tên hiện tại được sử dụng trong tài liệu Google AI Edge cho thời gian chạy trên thiết bị mà trước đây được gọi là TensorFlow Lite. Nó hỗ trợ chuyển đổi mô hình và suy luận di động với các tùy chọn tăng tốc phần cứng, nhưng phải kiểm tra người vận hành, đại biểu, định dạng mô hình và khả năng của thiết bị đối với nền tảng đích và phiên bản thời gian chạy.
Tài liệu AI Edge hiện tại của Google sử dụng LiteRT cho khung trên thiết bị trước đây được gọi là TensorFlow Lite.
Các đại biểu có thể tăng tốc các hoạt động được hỗ trợ trên phần cứng có sẵn.
Các hoạt động của mô hình phải được hỗ trợ bởi bộ chuyển đổi và đường dẫn thời gian chạy đã chọn.
Độ chính xác giảm có thể ảnh hưởng đến dự đoán và cần được xác nhận.
Nhà cung cấp phần cứng, phiên bản thời gian chạy và hỗ trợ vận hành xác định xem việc ủy quyền có hoạt động hay không.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
torch.compile và PyTorch 2 Biên dịch Đồ thị
kỹ thuật