HƯỚNG DẪN KỸ THUẬT

Tránh bị khóa nhà cung cấp AI bằng chiến lược đa mô hình

Tránh bị khóa nhà cung cấp AI có nghĩa là thiết kế hệ thống AI của bạn để bạn có thể chuyển đổi nhà cung cấp mô hình hoặc sử dụng nhiều nhà cung cấp cùng một lúc mà không cần viết lại ứng dụng.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của việc tránh bị khóa nhà cung cấp AI bằng chiến lược đa mô hình
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Điều này quan trọng vì chất lượng mẫu mã, giá cả và tình trạng sẵn có thay đổi nhanh chóng. Các nhóm mã hóa cứng API của một nhà cung cấp, nhắc nhở và nhúng các phần mềm nhúng sẽ phải đối mặt với chi phí di chuyển lớn khi họ cần di chuyển.

Lặn sâu

Việc khóa xảy ra theo từng lớp và chỉ một cổng mới sẽ loại bỏ lớp đầu tiên. Lớp đầu tiên là hình dạng API: định dạng yêu cầu, phát trực tuyến, mã lỗi và cách khai báo các công cụ hoặc chức năng. Nhiều nhà cung cấp và máy chủ nguồn mở hiện cung cấp các điểm cuối tương thích với OpenAI. Các thư viện và dịch vụ như LiteLLM và OpenRouter cũng như các nền tảng đám mây như Amazon Bedrock, Google Vertex AI và nền tảng Azure AI của Microsoft, đặt nhiều mô hình đằng sau một giao diện. Lớp thứ hai là lời nhắc. Lời nhắc được điều chỉnh theo thói quen của một mô hình, chẳng hạn như tùy chọn định dạng, kiểu từ chối hoặc cách nó tuân theo hướng dẫn của hệ thống, thường hoạt động kém hơn trên một mô hình khác. Đó là lý do tại sao API chia sẻ không đảm bảo tính di động. Lớp thứ ba là các tạo phẩm dữ liệu. Các phần nhúng từ các mô hình khác nhau tồn tại trong các không gian vectơ khác nhau và không thể so sánh được, do đó, việc thay đổi các mô hình nhúng có nghĩa là nhúng lại toàn bộ kho văn bản. Các mô hình được tinh chỉnh thường không thể xuất được từ nhà cung cấp dịch vụ lưu trữ. Lớp thứ tư là các tính năng của nền tảng. Chuỗi hội thoại được lưu trữ, cửa hàng vectơ tích hợp, khung tác nhân và xử lý tệp độc quyền giúp tiết kiệm công sức nhưng chúng ràng buộc logic ứng dụng của bạn với một nhà cung cấp. Thứ năm là thương mại: hợp đồng chi tiêu cam kết và chiết khấu theo số lượng. Công cụ giúp chuyển đổi an toàn là một bộ đánh giá: một tập hợp đại diện cho các nhiệm vụ thực sự của bạn, với kết quả mong đợi hoặc quy tắc chấm điểm, mà bạn có thể chạy dựa trên bất kỳ mô hình ứng viên nào. Không có cái này thì việc chuyển đổi chỉ là phỏng đoán. Với một, bạn cũng có thể định tuyến các nhiệm vụ theo độ khó, gửi tác phẩm dễ dàng đến các mô hình rẻ hơn. Một quan niệm sai lầm phổ biến là bạn nên tránh tất cả các biện pháp khóa. Các tính năng dành riêng cho nhà cung cấp có thể đáng sử dụng. Mục đích là để biết bạn đã thực hiện những phần phụ thuộc nào, chi phí để hoàn tác chúng là bao nhiêu và giữ cho chi phí đó ở mức chấp nhận được.

Triển khai trong thế giới thực

Một công ty phần mềm gửi tất cả các cuộc gọi LLM thông qua một cổng nội bộ sử dụng giao diện tương thích OpenAI. Khi một nhà cung cấp bị ngừng hoạt động, lưu lượng truy cập sẽ không chuyển sang nhà cung cấp thứ hai thông qua một lần thay đổi cấu hình.

Một công ty khởi nghiệp về công nghệ pháp lý lưu giữ một bộ đánh giá gồm 300 câu hỏi hợp đồng thực tế với các câu trả lời được xếp loại. Nó chạy bộ này theo từng bản phát hành mẫu mới trước khi quyết định có nên chuyển đổi hay không.

Một nhóm thương mại điện tử gửi gắn thẻ sản phẩm đơn giản đến một mô hình nhỏ, rẻ tiền và giữ một mô hình tiên phong để giải quyết các khiếu nại phức tạp của khách hàng. Điều này cắt giảm chi phí mà không có bất kỳ thay đổi nào đối với mã ứng dụng.

Nhóm tìm kiếm cơ sở tri thức lưu trữ các tài liệu gốc và mã phân đoạn của nó cùng với các vectơ. Khi đó, việc chuyển đổi mô hình nhúng có nghĩa là chạy công việc nhúng lại theo lịch trình mà không làm mất dữ liệu.

Tương lai của việc tránh bị khóa nhà cung cấp AI bằng chiến lược đa mô hình

Giao diện giữa các ứng dụng và mô hình đang hội tụ. Các API tương thích với OpenAI được sao chép rộng rãi và các giao thức mở như Giao thức ngữ cảnh mô hình để kết nối các công cụ giúp giảm một số khóa tích hợp. Sự khác biệt trong hoạt động của mô hình có thể sẽ vẫn còn, vì vậy vẫn cần điều chỉnh và đánh giá kịp thời khi chuyển đổi. Các mô hình trọng lượng mở cung cấp cho các tổ chức một cách khác để giảm sự phụ thuộc, với chi phí vận hành cơ sở hạ tầng của chính họ. Khi nền tảng tác nhân thêm bộ nhớ, quy trình làm việc và công cụ được lưu trữ, các hình thức khóa nền tảng mới có thể sẽ xuất hiện. Các nhóm đầu tư vào dữ liệu và nhật ký đánh giá của riêng họ có quyền tự do lựa chọn cao nhất.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Avoiding AI Vendor Lock-In with a Multi-Model Strategy quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Điều gì giúp tránh sự khóa chặt của nhà cung cấp AI bằng chiến lược đa mô hình?

Tránh bị khóa nhà cung cấp AI có nghĩa là thiết kế hệ thống AI của bạn để bạn có thể chuyển đổi nhà cung cấp mô hình hoặc sử dụng nhiều nhà cung cấp cùng một lúc mà không cần viết lại ứng dụng. Điều này quan trọng vì chất lượng mẫu mã, giá cả và tình trạng sẵn có thay đổi nhanh chóng. Các nhóm mã hóa cứng API của một nhà cung cấp, nhắc nhở và nhúng các phần mềm nhúng sẽ phải đối mặt với chi phí di chuyển lớn khi họ cần di chuyển.

Tại sao việc chuyển sang mô hình nhúng mới thường có nghĩa là phải nhúng lại toàn bộ kho văn bản?

Mỗi mô hình nhúng ánh xạ văn bản vào không gian vectơ riêng của nó, do đó, một truy vấn được nhúng bằng mô hình B không thể được so sánh một cách có ý nghĩa với các tài liệu được nhúng bằng mô hình A.

Mục đích chính của bộ đánh giá trong chiến lược đa mô hình là gì?

Bộ đánh giá là một tập hợp đại diện cho các nhiệm vụ của bạn với kết quả mong đợi hoặc quy tắc chấm điểm. Nó biến việc chuyển đổi mô hình từ phỏng đoán thành một quyết định có tính toán.

Tại sao việc đặt mọi mô hình đằng sau một API hợp nhất lại không đảm bảo tính di động?

Định dạng yêu cầu được chia sẻ sẽ loại bỏ lớp khóa hình dạng API, nhưng hoạt động của mô hình vẫn khác nhau, do đó, lời nhắc và đầu ra cần được kiểm tra lại.

Gửi các tác vụ gắn thẻ đơn giản tới một mô hình nhỏ và các khiếu nại phức tạp tới mô hình biên giới là một ví dụ về điều gì?

Định tuyến sẽ gửi từng tác vụ đến mô hình rẻ nhất xử lý tốt tác vụ đó. Bộ đánh giá là thứ cho phép bạn xác nhận mô hình nhỏ là đủ.

Những gì cần được lưu trữ với mỗi vectơ để việc lập chỉ mục lại trong tương lai trở nên đơn giản?

Việc ghi lại mô hình nào tạo ra từng vectơ, đồng thời giữ lại văn bản nguồn và các tham số phân đoạn, cho phép bạn xây dựng lại chỉ mục một cách đáng tin cậy bằng một mô hình mới.