HƯỚNG DẪN KỸ THUẬT

ExecuTorch dành cho PyTorch trên thiết bị

ExecuTorch xuất các chương trình PyTorch sang định dạng di động có thể chạy với thời gian chạy nhẹ trên thiết bị di động, máy tính để bàn hoặc mục tiêu nhúng.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của ExecuTorch dành cho PyTorch trên thiết bị
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Các đại biểu phụ trợ có thể tăng tốc các phần được hỗ trợ của chương trình, nhưng phải kiểm tra khả năng xuất, phạm vi của nhà điều hành, hỗ trợ thiết bị và hiệu suất đối với mô hình và nền tảng đích.

Lặn sâu

ExecuTorch là một framework gốc PyTorch để triển khai các mô hình cho các thiết bị biên. Một đường dẫn điển hình bắt đầu bằng mô hình PyTorch và các đầu vào mẫu, xuất chương trình, hạ thấp chương trình thông qua các biểu diễn dành riêng cho từng cạnh và tạo ra một tạo phẩm cho thời gian chạy ExecuTorch. Thời gian chạy được thiết kế để nhúng vào các ứng dụng và có thể thực thi trên các nền tảng như Android, iOS, máy tính để bàn và các hệ thống nhúng tùy thuộc vào bản dựng và hỗ trợ phụ trợ. Đại biểu phụ trợ cho phép phần phụ trợ phần cứng hoặc phần mềm thực hiện các hoạt động mà nó hỗ trợ. Một mô hình có thể được hạ cấp hoàn toàn xuống phần phụ trợ hoặc được phân vùng để các sơ đồ con được hỗ trợ sử dụng đại biểu trong khi các hoạt động khác vẫn ở trong thời gian chạy. Điều này mang lại sự linh hoạt, nhưng ranh giới phân vùng có thể thêm sự di chuyển hoặc đồng bộ hóa dữ liệu. Các toán tử không được hỗ trợ, hành vi động, ràng buộc tensor hoặc các thao tác tùy chỉnh có thể ngăn cản việc xuất hoặc ủy quyền. Xuất khẩu không giống như đào tạo hoặc chuyển đổi thành một tạo phẩm phổ quát. Nó nắm bắt một chương trình cho các đầu vào và ràng buộc được chỉ định. Hình dạng đầu vào, kiểu dữ liệu, luồng điều khiển và trạng thái mô hình phải được kiểm tra. Tạo phẩm thu được có thể cần thư viện thời gian chạy và bản dựng dành riêng cho chương trình phụ trợ. Các nhà cung cấp thiết bị và nhà bảo trì phụ trợ đưa ra phạm vi hỗ trợ của nhà điều hành và trình tăng tốc khác nhau; không suy ra các khả năng chỉ từ tên ExecuTorch. Một quy trình làm việc đáng tin cậy bắt đầu bằng một mô hình được xuất nhỏ và các đầu ra tham chiếu. So sánh các dự đoán thời gian chạy với PyTorch háo hức, sau đó tích hợp tiền xử lý và hậu xử lý vào ứng dụng. Cấu hình tải lạnh, độ trễ ấm, bộ nhớ, kích thước nhị phân và năng lượng trên thiết bị mục tiêu. Kiểm tra hành vi dự phòng nếu đại biểu không có mặt. Điểm chuẩn trên các thiết bị và phiên bản hệ điều hành quan trọng đối với người dùng. ExecuTorch có thể giảm khoảng cách giữa quá trình phát triển PyTorch và suy luận trên thiết bị, trong khi các nhà phát triển vẫn sở hữu vòng đời ứng dụng, các bản cập nhật mô hình, quyền riêng tư dữ liệu và hiệu suất. Ghim các phiên bản và giữ nguyên đầu vào cũng như cấu hình xuất. Xuất khẩu thành công là một cột mốc quan trọng chứ không phải là bằng chứng về sản lượng tương đương hoặc mức độ sẵn sàng sản xuất.

Triển khai trong thế giới thực

Một nhóm di động xuất một mô hình tầm nhìn nhỏ và chạy nó thông qua thời gian chạy ExecuTorch được nhúng trong ứng dụng của họ.

Một kỹ sư ủy quyền các phân vùng biểu đồ được hỗ trợ cho phần phụ trợ của thiết bị trong khi vẫn duy trì các hoạt động còn lại trên đường dẫn thời gian chạy di động.

Một dự án so sánh việc thực thi CPU XNNPACK với một đại biểu dành riêng cho nền tảng có sẵn bằng cách sử dụng cùng một mô hình đầu vào.

Quy trình xây dựng ghi lại phiên bản PyTorch nguồn, cài đặt xuất, chương trình phụ trợ và tệp nhị phân thời gian chạy cùng với mỗi tạo phẩm mô hình.

Tương lai của ExecuTorch dành cho PyTorch trên thiết bị

ExecuTorch sẽ tiếp tục mở rộng thời gian chạy thiết bị và tích hợp phụ trợ khi các mẫu PyTorch chuyển sang điện thoại và các sản phẩm nhúng. Phạm vi phụ trợ rộng hơn có thể làm giảm công việc chuyển đổi tùy chỉnh, nhưng các hạn chế về phần cứng cụ thể sẽ vẫn còn. Các nhóm nên lưu giữ các bài kiểm tra xuất và điểm chuẩn của thiết bị vật lý trong kiểm tra CI hoặc phát hành. Lập phiên bản mô hình, hành vi dự phòng và quyền riêng tư của ứng dụng sẽ vẫn là những phần trọng tâm của quá trình triển khai trên thiết bị. Công cụ có thể mở rộng tập hợp các hoạt động có thể xuất và mục tiêu phụ trợ. Các nhóm nên duy trì hành vi dự phòng và so sánh kết quả đầu ra bằng số sau khi nâng cấp. Các bản phát hành trên thiết bị vẫn sẽ yêu cầu kiểm tra tích hợp để cập nhật bộ nhớ, khởi động, bảo mật và mô hình.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Làm bài kiểm tra ExecuTorch dành cho PyTorch trên thiết bị

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

ExecuTorch dành cho PyTorch trên thiết bị là gì?

ExecuTorch xuất các chương trình PyTorch sang định dạng di động có thể chạy với thời gian chạy nhẹ trên thiết bị di động, máy tính để bàn hoặc mục tiêu nhúng. Các đại biểu phụ trợ có thể tăng tốc các phần được hỗ trợ của chương trình, nhưng phải kiểm tra khả năng xuất, phạm vi của nhà điều hành, hỗ trợ thiết bị và hiệu suất đối với mô hình và nền tảng đích.

ExecuTorch dự định hỗ trợ tác vụ triển khai nào?

ExecuTorch là một khung tập trung vào PyTorch để triển khai suy luận biên.

Đại biểu phụ trợ làm gì?

Các đại biểu cho phép các chương trình phụ trợ chuyên biệt thực hiện các hoạt động mà họ hỗ trợ.

Điều gì có thể xảy ra khi một mô hình chứa các hoạt động mà đại biểu không hỗ trợ?

Phạm vi bảo hiểm và dự phòng phụ thuộc vào luồng phụ trợ và xuất khẩu.

Cần so sánh điều gì sau khi xuất khẩu?

So sánh đầu ra phát hiện sự khác biệt về số lượng hoặc hành vi.

Tại sao phải kiểm tra thiết bị mục tiêu thay vì chỉ dựa vào thành công xuất khẩu?

Thư viện thiết bị, phụ trợ, toán tử và thời gian chạy ảnh hưởng đến việc thực thi.