HƯỚNG DẪN ứng dụng

Giữ Chatbots theo chủ đề

Việc duy trì một chatbot theo đúng chủ đề đòi hỏi một số biện pháp kiểm soát vì mô hình có thể thực hiện theo một yêu cầu không mong muốn, truy xuất tài liệu không liên quan hoặc đưa ra câu trả lời ngoài bằng chứng của nó.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của việc giữ các chatbot theo chủ đề
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Các nhóm có thể xác định phạm vi, hạn chế dữ liệu và công cụ, đồng thời thêm các bước kiểm tra ở các giai đoạn đầu vào, truy xuất, hành động và đầu ra, sau đó kiểm tra cách hoạt động của toàn bộ ứng dụng.

Lặn sâu

“Đi đúng chủ đề” không phải là một bối cảnh mô hình duy nhất. Một tuyên bố phạm vi hữu ích xác định chủ đề, các nguồn mà trợ lý có thể sử dụng, các nhiệm vụ mà trợ lý có thể thực hiện và các trường hợp yêu cầu từ chối hoặc chuyển giao. Lời nhắc có thể truyền đạt những ranh giới đó nhưng không thể đảm bảo rằng mọi phản hồi đều tuân theo chúng. Ứng dụng cũng phải giới hạn kho dữ liệu truy xuất, gắn nhãn tài liệu nguồn và hạn chế các công cụ có sẵn đối với công việc mà bot được phép thực hiện. Nếu câu trả lời không được hỗ trợ bởi tài liệu được phép, hệ thống sẽ nói như vậy hoặc hướng người dùng tiếp tục thay vì lấp đầy khoảng trống bằng một phỏng đoán hợp lý. Kiểm soát thuộc về nhiều điểm. Kiểm tra đầu vào có thể xác định các yêu cầu bên ngoài phạm vi dịch vụ. Kiểm tra truy xuất có thể loại bỏ các đoạn không liên quan hoặc không đáng tin cậy trước khi chúng đi vào ngữ cảnh. Quy tắc luồng hội thoại có thể duy trì hoạt động tương tác nhiều lượt trong một quy trình đã được phê duyệt. Các điều khiển công cụ sẽ xác thực từng hành động và các đối số của nó. Kiểm tra đầu ra có thể gắn cờ một câu trả lời mâu thuẫn với phạm vi đã nêu hoặc thiếu hỗ trợ cần thiết. NVIDIA NeMo Guardrails ghi lại những thông tin này dưới dạng các loại đường ray đầu vào, truy xuất, hộp thoại, thực thi và đầu ra riêng biệt; nguyên tắc thiết kế tương tự có thể được triển khai với các khung công tác khác hoặc mã ứng dụng thông thường. Các biện pháp kiểm soát này có thể xung đột với tính hữu dụng: trình phân loại hẹp có thể từ chối các trường hợp nguy hiểm hợp pháp, trong khi phạm vi rộng có thể đưa ra các câu trả lời mà tổ chức không thể hỗ trợ. Thiết kế một phương án dự phòng rõ ràng, vạch trần nguồn hoặc giới hạn có liên quan và gửi các quyết định nhạy cảm đến những người có thẩm quyền. Đánh giá bằng các câu hỏi thông thường trong phạm vi, trường hợp ranh giới, câu hỏi không được hỗ trợ, nỗ lực đối nghịch và ngừng dịch vụ. Theo dõi cả những phản hồi không phù hợp và những lời từ chối không cần thiết. Kiểm soát chủ đề làm giảm phạm vi lỗi có thể xảy ra, nhưng chúng không xác định rằng câu trả lời là chính xác về mặt thực tế hoặc hành động của công cụ được ủy quyền.

Triển khai trong thế giới thực

Chatbot lợi ích nêu rõ các tài liệu về kế hoạch mà nó bao gồm và gửi các câu hỏi về khả năng hội đủ điều kiện của cá nhân đến kênh con người được ủy quyền.

Trợ lý hỗ trợ sản phẩm chỉ tìm kiếm các sách hướng dẫn đã được phê duyệt, trích dẫn phần được truy xuất và cho biết khi kho tài liệu không trả lời câu hỏi.

Bot dịch vụ khách hàng nhận ra các yêu cầu bên ngoài dịch vụ được chỉ định và đưa ra cách chuyển giao cụ thể thay vì phát minh ra câu trả lời.

Một nhóm kiểm tra các nỗ lực trực tiếp và gián tiếp nhằm thay đổi chủ đề, các đoạn được truy xuất không liên quan và các yêu cầu công cụ không đúng định dạng trước khi phát hành.

Tương lai của việc giữ các chatbot theo chủ đề

Khi trợ lý có quyền truy cập vào các công cụ và kho dữ liệu lớn hơn, việc quản lý phạm vi sẽ cần phải bao gồm không chỉ các chủ đề mà còn cả các hành động, quyền dữ liệu và chất lượng của bằng chứng được truy xuất. Quy trình làm việc có cấu trúc và định tuyến tốt hơn có thể giúp quá trình chuyển giao trở nên hữu ích hơn, tuy nhiên các trường hợp khó khăn và việc thay đổi nội dung vẫn cần được giám sát. Các nhóm nên sửa đổi các quy tắc phạm vi khi dịch vụ thay đổi và sử dụng các báo cáo lỗi thực tế để cải thiện phạm vi kiểm thử. Quyền sở hữu rõ ràng giúp cập nhật các lộ trình từ chối và chuyển tiếp. Việc xem xét định kỳ có thể phát hiện các báo cáo phạm vi lỗi thời sau khi thay đổi dịch vụ.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Xây dựng lựa chọn. Thiết kế cấp ứng dụng xác định liệu AI có cải thiện kết quả thực tế hay không.
  • Nhóm và quy trình làm việc. Tích hợp quy trình làm việc tốt sẽ giúp tăng năng suất mà người dùng có thể tin tưởng.
  • Rủi ro và an toàn. Các trường hợp sử dụng có phạm vi phù hợp giúp giảm bớt sự mệt mỏi khi thay đổi và rủi ro triển khai.

coi chừng

  • Tự động hóa một quy trình bị hỏng có thể khuếch đại các vấn đề hiện có.
  • Các nhóm có thể tự động hóa quá mức và loại bỏ sự phán xét cần thiết của con người.
  • Chất lượng có thể thay đổi nếu kết quả đầu ra không được đánh giá liên tục.

Các bước tiếp theo

  1. Lập sơ đồ quy trình làm việc hiện tại và xác định bước có mức độ ma sát cao nhất.
  2. Xác định các điểm kiểm tra của con người trước khi tự động hóa hoàn toàn.
  3. Đào tạo người dùng về lời nhắc, đường dẫn leo thang và tiêu chuẩn chất lượng.
  4. Theo dõi kết quả ở cấp độ nhiệm vụ để xác nhận giá trị bền vững.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Làm bài kiểm tra Giữ Chatbots đúng chủ đề

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Giữ Chatbots theo chủ đề là gì?

Việc duy trì một chatbot theo đúng chủ đề đòi hỏi một số biện pháp kiểm soát vì mô hình có thể thực hiện theo một yêu cầu không mong muốn, truy xuất tài liệu không liên quan hoặc đưa ra câu trả lời ngoài bằng chứng của nó. Các nhóm có thể xác định phạm vi, hạn chế dữ liệu và công cụ, đồng thời thêm các bước kiểm tra ở các giai đoạn đầu vào, truy xuất, hành động và đầu ra, sau đó kiểm tra cách hoạt động của toàn bộ ứng dụng.

Một tuyên bố phạm vi chatbot hữu ích nên làm rõ điều gì?

Hướng dẫn khuyến nghị xác định chủ đề, nguồn được phép, nhiệm vụ và trường hợp cần từ chối hoặc chuyển giao.

Làm cách nào một nhóm có thể giảm bớt các câu trả lời không được hỗ trợ khi kho tài liệu được phê duyệt của nhóm không có tài liệu liên quan?

Hướng dẫn khuyến nghị nên thông báo khi tài liệu được phép không hỗ trợ câu trả lời hoặc chuyển đến người thích hợp.

Điều khiển nào tác động lên các đoạn tài liệu được truy xuất trước khi chúng đi vào ngữ cảnh mô hình?

Kiểm soát truy xuất lọc hoặc xác thực tài liệu được truy xuất trước khi nó trở thành bối cảnh để tạo.

Tại sao lời nhắc “tiếp tục chủ đề” lại không đủ?

Hướng dẫn cho biết lời nhắc truyền đạt các ranh giới nhưng không đảm bảo sự tuân thủ; các điều khiển khác cần hạn chế quyền truy cập vào kho dữ liệu và công cụ.

Điều gì sẽ xảy ra trước khi chatbot thực hiện một hành động bên ngoài?

Các điều khiển công cụ phải ủy quyền cho từng hành động và xác thực các đối số của nó trong mã ứng dụng.