Tiếp theoHướng dẫn tiếp theo
Cung cấp nhiều mô hình và ghép kênh mô hình
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Tránh bị khóa nhà cung cấp AI có nghĩa là thiết kế hệ thống AI của bạn để bạn có thể chuyển đổi nhà cung cấp mô hình hoặc sử dụng nhiều nhà cung cấp cùng một lúc mà không cần viết lại ứng dụng.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Điều này quan trọng vì chất lượng mẫu mã, giá cả và tình trạng sẵn có thay đổi nhanh chóng. Các nhóm mã hóa cứng API của một nhà cung cấp, nhắc nhở và nhúng các phần mềm nhúng sẽ phải đối mặt với chi phí di chuyển lớn khi họ cần di chuyển.
Việc khóa xảy ra theo từng lớp và chỉ một cổng mới sẽ loại bỏ lớp đầu tiên. Lớp đầu tiên là hình dạng API: định dạng yêu cầu, phát trực tuyến, mã lỗi và cách khai báo các công cụ hoặc chức năng. Nhiều nhà cung cấp và máy chủ nguồn mở hiện cung cấp các điểm cuối tương thích với OpenAI. Các thư viện và dịch vụ như LiteLLM và OpenRouter cũng như các nền tảng đám mây như Amazon Bedrock, Google Vertex AI và nền tảng Azure AI của Microsoft, đặt nhiều mô hình đằng sau một giao diện. Lớp thứ hai là lời nhắc. Lời nhắc được điều chỉnh theo thói quen của một mô hình, chẳng hạn như tùy chọn định dạng, kiểu từ chối hoặc cách nó tuân theo hướng dẫn của hệ thống, thường hoạt động kém hơn trên một mô hình khác. Đó là lý do tại sao API chia sẻ không đảm bảo tính di động. Lớp thứ ba là các tạo phẩm dữ liệu. Các phần nhúng từ các mô hình khác nhau tồn tại trong các không gian vectơ khác nhau và không thể so sánh được, do đó, việc thay đổi các mô hình nhúng có nghĩa là nhúng lại toàn bộ kho văn bản. Các mô hình được tinh chỉnh thường không thể xuất được từ nhà cung cấp dịch vụ lưu trữ. Lớp thứ tư là các tính năng của nền tảng. Chuỗi hội thoại được lưu trữ, cửa hàng vectơ tích hợp, khung tác nhân và xử lý tệp độc quyền giúp tiết kiệm công sức nhưng chúng ràng buộc logic ứng dụng của bạn với một nhà cung cấp. Thứ năm là thương mại: hợp đồng chi tiêu cam kết và chiết khấu theo số lượng. Công cụ giúp chuyển đổi an toàn là một bộ đánh giá: một tập hợp đại diện cho các nhiệm vụ thực sự của bạn, với kết quả mong đợi hoặc quy tắc chấm điểm, mà bạn có thể chạy dựa trên bất kỳ mô hình ứng viên nào. Không có cái này thì việc chuyển đổi chỉ là phỏng đoán. Với một, bạn cũng có thể định tuyến các nhiệm vụ theo độ khó, gửi tác phẩm dễ dàng đến các mô hình rẻ hơn. Một quan niệm sai lầm phổ biến là bạn nên tránh tất cả các biện pháp khóa. Các tính năng dành riêng cho nhà cung cấp có thể đáng sử dụng. Mục đích là để biết bạn đã thực hiện những phần phụ thuộc nào, chi phí để hoàn tác chúng là bao nhiêu và giữ cho chi phí đó ở mức chấp nhận được.
Một công ty phần mềm gửi tất cả các cuộc gọi LLM thông qua một cổng nội bộ sử dụng giao diện tương thích OpenAI. Khi một nhà cung cấp bị ngừng hoạt động, lưu lượng truy cập sẽ không chuyển sang nhà cung cấp thứ hai thông qua một lần thay đổi cấu hình.
Một công ty khởi nghiệp về công nghệ pháp lý lưu giữ một bộ đánh giá gồm 300 câu hỏi hợp đồng thực tế với các câu trả lời được xếp loại. Nó chạy bộ này theo từng bản phát hành mẫu mới trước khi quyết định có nên chuyển đổi hay không.
Một nhóm thương mại điện tử gửi gắn thẻ sản phẩm đơn giản đến một mô hình nhỏ, rẻ tiền và giữ một mô hình tiên phong để giải quyết các khiếu nại phức tạp của khách hàng. Điều này cắt giảm chi phí mà không có bất kỳ thay đổi nào đối với mã ứng dụng.
Nhóm tìm kiếm cơ sở tri thức lưu trữ các tài liệu gốc và mã phân đoạn của nó cùng với các vectơ. Khi đó, việc chuyển đổi mô hình nhúng có nghĩa là chạy công việc nhúng lại theo lịch trình mà không làm mất dữ liệu.
Giao diện giữa các ứng dụng và mô hình đang hội tụ. Các API tương thích với OpenAI được sao chép rộng rãi và các giao thức mở như Giao thức ngữ cảnh mô hình để kết nối các công cụ giúp giảm một số khóa tích hợp. Sự khác biệt trong hoạt động của mô hình có thể sẽ vẫn còn, vì vậy vẫn cần điều chỉnh và đánh giá kịp thời khi chuyển đổi. Các mô hình trọng lượng mở cung cấp cho các tổ chức một cách khác để giảm sự phụ thuộc, với chi phí vận hành cơ sở hạ tầng của chính họ. Khi nền tảng tác nhân thêm bộ nhớ, quy trình làm việc và công cụ được lưu trữ, các hình thức khóa nền tảng mới có thể sẽ xuất hiện. Các nhóm đầu tư vào dữ liệu và nhật ký đánh giá của riêng họ có quyền tự do lựa chọn cao nhất.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Tránh bị khóa nhà cung cấp AI có nghĩa là thiết kế hệ thống AI của bạn để bạn có thể chuyển đổi nhà cung cấp mô hình hoặc sử dụng nhiều nhà cung cấp cùng một lúc mà không cần viết lại ứng dụng. Điều này quan trọng vì chất lượng mẫu mã, giá cả và tình trạng sẵn có thay đổi nhanh chóng. Các nhóm mã hóa cứng API của một nhà cung cấp, nhắc nhở và nhúng các phần mềm nhúng sẽ phải đối mặt với chi phí di chuyển lớn khi họ cần di chuyển.
Mỗi mô hình nhúng ánh xạ văn bản vào không gian vectơ riêng của nó, do đó, một truy vấn được nhúng bằng mô hình B không thể được so sánh một cách có ý nghĩa với các tài liệu được nhúng bằng mô hình A.
Bộ đánh giá là một tập hợp đại diện cho các nhiệm vụ của bạn với kết quả mong đợi hoặc quy tắc chấm điểm. Nó biến việc chuyển đổi mô hình từ phỏng đoán thành một quyết định có tính toán.
Định dạng yêu cầu được chia sẻ sẽ loại bỏ lớp khóa hình dạng API, nhưng hoạt động của mô hình vẫn khác nhau, do đó, lời nhắc và đầu ra cần được kiểm tra lại.
Định tuyến sẽ gửi từng tác vụ đến mô hình rẻ nhất xử lý tốt tác vụ đó. Bộ đánh giá là thứ cho phép bạn xác nhận mô hình nhỏ là đủ.
Việc ghi lại mô hình nào tạo ra từng vectơ, đồng thời giữ lại văn bản nguồn và các tham số phân đoạn, cho phép bạn xây dựng lại chỉ mục một cách đáng tin cậy bằng một mô hình mới.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Cung cấp nhiều mô hình và ghép kênh mô hình
kỹ thuật