HƯỚNG DẪN KỸ THUẬT

TensorFlow Lite và LiteRT cho Di động

LiteRT là tên hiện tại được sử dụng trong tài liệu Google AI Edge cho thời gian chạy trên thiết bị mà trước đây được gọi là TensorFlow Lite.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của TensorFlow Lite và LiteRT dành cho thiết bị di động
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Nó hỗ trợ chuyển đổi mô hình và suy luận di động với các tùy chọn tăng tốc phần cứng, nhưng phải kiểm tra người vận hành, đại biểu, định dạng mô hình và khả năng của thiết bị đối với nền tảng đích và phiên bản thời gian chạy.

Lặn sâu

TensorFlow Lite has been renamed LiteRT in current Google AI Edge documentation, while existing apps and model artifacts may still use TensorFlow Lite terminology. The naming transition does not mean every application must rewrite its code immediately; follow migration guidance for the specific runtime and API being used. Older tutorials may refer to Interpreter APIs, while current docs also describe newer compiled-model paths. A mobile workflow begins with a trained model and a conversion step that produces a supported on-device representation. Conversion can include optimization or quantization. The result must be checked for compatible operators, input shapes, tensor types, and metadata. If conversion reports unsupported operations, a model may need export changes, custom operations, or a different runtime path. At inference time, LiteRT can execute on CPU and may use delegates for supported GPU or NPU hardware. A delegate accelerates operations it supports; unsupported parts may fall back to another device or fail depending on configuration. Availability varies across device models, chipset vendors, runtime packaging, and operating-system versions. Do not assume an NPU delegate is present simply because the phone contains an NPU. Quantization reduces numeric precision and can shrink model size or improve speed, but may change accuracy. Calibration data should represent the intended input distribution for supported post-training quantization methods. Test both resource use and task metrics after conversion. Image color order, normalization, tokenizer settings, and output decoding need to match training. On-device deployment also involves app lifecycle, memory pressure, battery use, installation size, privacy, and version support. Benchmark on physical target devices, including startup and sustained runs. Keep model version and conversion configuration with the app release. LiteRT is a runtime, not a guarantee that a model will be accurate or compatible with every phone.

Triển khai trong thế giới thực

Nhà phát triển Android chuyển đổi bộ phân loại hình ảnh và so sánh suy luận của CPU với đại biểu GPU hoặc NPU có sẵn.

Một nhóm lượng tử hóa mô hình để giảm bộ nhớ và kiểm tra độ chính xác trên hình ảnh đại diện của điện thoại trước khi phát hành.

Ứng dụng dành cho thiết bị di động chọn thời gian chạy LiteRT được ghi lại cho API đã chọn và tránh trộn lẫn các ví dụ từ các phiên bản TensorFlow Lite cũ hơn.

Một kỹ sư đo tải lạnh, độ trễ ấm, bộ nhớ và năng lượng trên một số thiết bị mục tiêu thay vì chỉ dựa vào điểm chuẩn của máy tính để bàn.

Tương lai của TensorFlow Lite và LiteRT dành cho thiết bị di động

Công cụ Google AI Edge sẽ tiếp tục phát triển chuyển đổi mô hình, API di động và ủy quyền phần cứng. Các ứng dụng TensorFlow Lite hiện tại có thể tiếp tục hoạt động trong khi tài liệu và gói mới sử dụng tên LiteRT. Các nhóm nên theo dõi hướng dẫn di chuyển và thử nghiệm các bản nâng cấp thời gian chạy trên ma trận thiết bị được hỗ trợ của họ. Khả năng tăng tốc phần cứng sẽ vẫn dành riêng cho từng thiết bị, do đó, tính di động đòi hỏi các dự phòng được đo lường và các yêu cầu tối thiểu rõ ràng. Tên thời gian chạy và API sẽ tiếp tục thay đổi khi phần cứng di động phát triển. Tách biệt công việc di chuyển khỏi hoạt động kiểm tra chất lượng mô hình và duy trì điểm chuẩn trên các lớp thiết bị đại diện. Hỗ trợ đại biểu phải được kiểm tra lại trước khi cập nhật được gửi đi.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Làm bài kiểm tra TensorFlow Lite và LiteRT dành cho thiết bị di động

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

TensorFlow Lite và LiteRT dành cho thiết bị di động là gì?

LiteRT là tên hiện tại được sử dụng trong tài liệu Google AI Edge cho thời gian chạy trên thiết bị mà trước đây được gọi là TensorFlow Lite. Nó hỗ trợ chuyển đổi mô hình và suy luận di động với các tùy chọn tăng tốc phần cứng, nhưng phải kiểm tra người vận hành, đại biểu, định dạng mô hình và khả năng của thiết bị đối với nền tảng đích và phiên bản thời gian chạy.

LiteRT đề cập đến điều gì trong tài liệu Google AI Edge hiện tại?

Tài liệu AI Edge hiện tại của Google sử dụng LiteRT cho khung trên thiết bị trước đây được gọi là TensorFlow Lite.

Đại biểu phần cứng làm gì trong thời gian chạy suy luận trên thiết bị?

Các đại biểu có thể tăng tốc các hoạt động được hỗ trợ trên phần cứng có sẵn.

Tại sao phải kiểm tra tính tương thích của toán tử trong quá trình chuyển đổi mô hình?

Các hoạt động của mô hình phải được hỗ trợ bởi bộ chuyển đổi và đường dẫn thời gian chạy đã chọn.

Lượng tử hóa có thể trao đổi những gì để có được các mô hình nhỏ hơn hoặc thực thi nhanh hơn?

Độ chính xác giảm có thể ảnh hưởng đến dự đoán và cần được xác nhận.

Tại sao phải kiểm tra đại biểu NPU trên điện thoại dự định?

Nhà cung cấp phần cứng, phiên bản thời gian chạy và hỗ trợ vận hành xác định xem việc ủy ​​quyền có hoạt động hay không.