Tiếp theoHướng dẫn tiếp theo
AI trên thiết bị và AI trên đám mây trên điện thoại
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
ExecuTorch xuất các chương trình PyTorch sang định dạng di động có thể chạy với thời gian chạy nhẹ trên thiết bị di động, máy tính để bàn hoặc mục tiêu nhúng.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Các đại biểu phụ trợ có thể tăng tốc các phần được hỗ trợ của chương trình, nhưng phải kiểm tra khả năng xuất, phạm vi của nhà điều hành, hỗ trợ thiết bị và hiệu suất đối với mô hình và nền tảng đích.
ExecuTorch là một framework gốc PyTorch để triển khai các mô hình cho các thiết bị biên. Một đường dẫn điển hình bắt đầu bằng mô hình PyTorch và các đầu vào mẫu, xuất chương trình, hạ thấp chương trình thông qua các biểu diễn dành riêng cho từng cạnh và tạo ra một tạo phẩm cho thời gian chạy ExecuTorch. Thời gian chạy được thiết kế để nhúng vào các ứng dụng và có thể thực thi trên các nền tảng như Android, iOS, máy tính để bàn và các hệ thống nhúng tùy thuộc vào bản dựng và hỗ trợ phụ trợ. Đại biểu phụ trợ cho phép phần phụ trợ phần cứng hoặc phần mềm thực hiện các hoạt động mà nó hỗ trợ. Một mô hình có thể được hạ cấp hoàn toàn xuống phần phụ trợ hoặc được phân vùng để các sơ đồ con được hỗ trợ sử dụng đại biểu trong khi các hoạt động khác vẫn ở trong thời gian chạy. Điều này mang lại sự linh hoạt, nhưng ranh giới phân vùng có thể thêm sự di chuyển hoặc đồng bộ hóa dữ liệu. Các toán tử không được hỗ trợ, hành vi động, ràng buộc tensor hoặc các thao tác tùy chỉnh có thể ngăn cản việc xuất hoặc ủy quyền. Xuất khẩu không giống như đào tạo hoặc chuyển đổi thành một tạo phẩm phổ quát. Nó nắm bắt một chương trình cho các đầu vào và ràng buộc được chỉ định. Hình dạng đầu vào, kiểu dữ liệu, luồng điều khiển và trạng thái mô hình phải được kiểm tra. Tạo phẩm thu được có thể cần thư viện thời gian chạy và bản dựng dành riêng cho chương trình phụ trợ. Các nhà cung cấp thiết bị và nhà bảo trì phụ trợ đưa ra phạm vi hỗ trợ của nhà điều hành và trình tăng tốc khác nhau; không suy ra các khả năng chỉ từ tên ExecuTorch. Một quy trình làm việc đáng tin cậy bắt đầu bằng một mô hình được xuất nhỏ và các đầu ra tham chiếu. So sánh các dự đoán thời gian chạy với PyTorch háo hức, sau đó tích hợp tiền xử lý và hậu xử lý vào ứng dụng. Cấu hình tải lạnh, độ trễ ấm, bộ nhớ, kích thước nhị phân và năng lượng trên thiết bị mục tiêu. Kiểm tra hành vi dự phòng nếu đại biểu không có mặt. Điểm chuẩn trên các thiết bị và phiên bản hệ điều hành quan trọng đối với người dùng. ExecuTorch có thể giảm khoảng cách giữa quá trình phát triển PyTorch và suy luận trên thiết bị, trong khi các nhà phát triển vẫn sở hữu vòng đời ứng dụng, các bản cập nhật mô hình, quyền riêng tư dữ liệu và hiệu suất. Ghim các phiên bản và giữ nguyên đầu vào cũng như cấu hình xuất. Xuất khẩu thành công là một cột mốc quan trọng chứ không phải là bằng chứng về sản lượng tương đương hoặc mức độ sẵn sàng sản xuất.
Một nhóm di động xuất một mô hình tầm nhìn nhỏ và chạy nó thông qua thời gian chạy ExecuTorch được nhúng trong ứng dụng của họ.
Một kỹ sư ủy quyền các phân vùng biểu đồ được hỗ trợ cho phần phụ trợ của thiết bị trong khi vẫn duy trì các hoạt động còn lại trên đường dẫn thời gian chạy di động.
Một dự án so sánh việc thực thi CPU XNNPACK với một đại biểu dành riêng cho nền tảng có sẵn bằng cách sử dụng cùng một mô hình đầu vào.
Quy trình xây dựng ghi lại phiên bản PyTorch nguồn, cài đặt xuất, chương trình phụ trợ và tệp nhị phân thời gian chạy cùng với mỗi tạo phẩm mô hình.
ExecuTorch sẽ tiếp tục mở rộng thời gian chạy thiết bị và tích hợp phụ trợ khi các mẫu PyTorch chuyển sang điện thoại và các sản phẩm nhúng. Phạm vi phụ trợ rộng hơn có thể làm giảm công việc chuyển đổi tùy chỉnh, nhưng các hạn chế về phần cứng cụ thể sẽ vẫn còn. Các nhóm nên lưu giữ các bài kiểm tra xuất và điểm chuẩn của thiết bị vật lý trong kiểm tra CI hoặc phát hành. Lập phiên bản mô hình, hành vi dự phòng và quyền riêng tư của ứng dụng sẽ vẫn là những phần trọng tâm của quá trình triển khai trên thiết bị. Công cụ có thể mở rộng tập hợp các hoạt động có thể xuất và mục tiêu phụ trợ. Các nhóm nên duy trì hành vi dự phòng và so sánh kết quả đầu ra bằng số sau khi nâng cấp. Các bản phát hành trên thiết bị vẫn sẽ yêu cầu kiểm tra tích hợp để cập nhật bộ nhớ, khởi động, bảo mật và mô hình.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
ExecuTorch xuất các chương trình PyTorch sang định dạng di động có thể chạy với thời gian chạy nhẹ trên thiết bị di động, máy tính để bàn hoặc mục tiêu nhúng. Các đại biểu phụ trợ có thể tăng tốc các phần được hỗ trợ của chương trình, nhưng phải kiểm tra khả năng xuất, phạm vi của nhà điều hành, hỗ trợ thiết bị và hiệu suất đối với mô hình và nền tảng đích.
ExecuTorch là một khung tập trung vào PyTorch để triển khai suy luận biên.
Các đại biểu cho phép các chương trình phụ trợ chuyên biệt thực hiện các hoạt động mà họ hỗ trợ.
Phạm vi bảo hiểm và dự phòng phụ thuộc vào luồng phụ trợ và xuất khẩu.
So sánh đầu ra phát hiện sự khác biệt về số lượng hoặc hành vi.
Thư viện thiết bị, phụ trợ, toán tử và thời gian chạy ảnh hưởng đến việc thực thi.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
AI trên thiết bị và AI trên đám mây trên điện thoại
kỹ thuật