HƯỚNG DẪN AI về ngôn ngữ

Phát hiện trích dẫn giả từ AI

Chatbots phát minh ra các trích dẫn vì chúng tạo ra văn bản có vẻ phù hợp chứ không phải văn bản mà chúng đã kiểm tra.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyđọc 4 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của việc phát hiện các trích dẫn giả từ AI
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Một tài liệu tham khảo bịa đặt có thể có các tác giả có vẻ thực tế, một tạp chí đáng tin cậy và thậm chí cả DOI. Điều đó quan trọng vì nguồn giả mạo hoặc phân bổ sai trong bài viết của bạn có thể khiến bạn bị điểm, làm tổn hại đến uy tín của bạn hoặc trong môi trường chuyên nghiệp dẫn đến các biện pháp trừng phạt chính thức.

Lặn sâu

Một mô hình ngôn ngữ viết bằng cách dự đoán những từ nào có thể xuất hiện tiếp theo. Các trích dẫn tuân theo một mẫu rất dễ đoán: tên tác giả, năm, tiêu đề, tạp chí, tập, số trang và thường là DOI. Một mô hình đã thấy hàng triệu tài liệu tham khảo thực tế, do đó, nó có thể tạo ra một mô hình có hình dạng hoàn hảo và không chỉ ra điểm nào. Đây không phải là mô hình nói dối có mục đích. Trừ khi nó được kết nối với một công cụ tìm kiếm, nó không có bước tích hợp nào để kiểm tra xem tham chiếu có tồn tại hay không. Các trích dẫn AI tồi có bốn loại. Một số được tạo thành hoàn toàn. Một số kết hợp các nhà nghiên cứu thực sự với một tiêu đề mà họ chưa bao giờ viết. Một số nêu tên một bài báo thật nhưng lại ghi sai các chi tiết, chẳng hạn như năm, tạp chí hoặc số trang. Loại khó phát hiện nhất là một bài báo có thật, được trích dẫn chính xác nhưng không nói lên những gì chatbot tuyên bố. Hậu quả là có thật. Trong vụ Mata kiện Avianca năm 2023 tại tòa án liên bang ở New York, các luật sư đã đệ trình một bản tóm tắt trích dẫn các vụ án mà ChatGPT đã bịa ra và thẩm phán đã xử phạt chúng. Để kiểm tra nguồn trước khi gửi, trước tiên hãy tìm kiếm tiêu đề chính xác trong dấu ngoặc kép trong Google Scholar hoặc cơ sở dữ liệu thư viện của bạn. Thứ hai, nếu có DOI, hãy mở nó thông qua doi.org và xác nhận bài báo mà nó dẫn đến có cùng tiêu đề và tác giả. Thứ ba, kiểm tra xem tác giả, năm và tạp chí có khớp nhau không. Thứ tư, hãy mở nguồn và tìm đoạn văn hỗ trợ cho yêu cầu của bạn. Thứ năm, nếu bạn không thể xác minh nguồn, hãy xóa nguồn đó. Một lỗi phổ biến là yêu cầu chatbot xác nhận trích dẫn của chính nó. Nó có thể tạo ra câu nói 'có' đầy tự tin cũng dễ dàng như việc nó tạo ra lời tham khảo giả mạo. Các công cụ tìm kiếm trên web làm giảm rủi ro nhưng không loại bỏ nó vì chúng vẫn có thể trình bày sai nội dung của một nguồn thực sự.

Triển khai trong thế giới thực

Một sinh viên yêu cầu chatbot thực hiện 5 nghiên cứu về thời gian sử dụng thiết bị và giấc ngủ. Khi cô tìm kiếm Google Scholar để tìm tiêu đề chính xác trong dấu ngoặc kép, hai trong số đó không tồn tại, mặc dù tác giả là những nhà nghiên cứu thực sự về giấc ngủ.

Một sinh viên điều dưỡng nhận được một tài liệu tham khảo với DOI. Khi anh ấy mở doi.org, DOI chuyển đến một bài báo kỹ thuật không liên quan, cho anh ấy biết rằng trích dẫn được ghép lại với nhau từ những phần hợp lý.

Một sinh viên lịch sử sử dụng công cụ tìm kiếm AI liên kết đến một bài báo có thật. Khi cô đọc nó, bài báo thảo luận về một thập kỷ khác với thập kỷ mà phần tóm tắt của chatbot tuyên bố.

Một sinh viên tốt nghiệp hỏi chatbot liệu trích dẫn mà nó đưa ra có phải là thật hay không và nó tự tin nói có. Dù sao thì cô ấy cũng kiểm tra danh mục thư viện và không tìm thấy cuốn sách nào như vậy.

Tương lai của việc phát hiện các trích dẫn giả từ AI

Hiện tại, nhiều chatbot hơn tìm kiếm trên web theo mặc định và hiển thị các liên kết, điều này làm giảm các tài liệu tham khảo được tạo ra hoàn toàn trong sử dụng hàng ngày. Tuy nhiên, việc phân bổ sai vẫn là một vấn đề khó khăn vì cần phải đọc kỹ để đánh giá liệu một nguồn có thực sự hỗ trợ cho một tuyên bố cụ thể hay không. Các nhà xuất bản, thư viện và công cụ trích dẫn đang xây dựng những cách tốt hơn để tự động kiểm tra tài liệu tham khảo và một số công cụ viết có thể gắn cờ các trích dẫn không thể xác minh trước khi bạn gửi. Không điều nào trong số này có thể thay thế được thói quen cơ bản: tìm nguồn, mở nó ra và tự đọc đoạn văn liên quan. Các trường học có thể sẽ tiếp tục yêu cầu học sinh chịu trách nhiệm về mọi trích dẫn, bất kể công cụ nào đề xuất điều đó.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Tốc độ và tỷ lệ. Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
  • Truy cập và tiếp cận. Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
  • Quyết định rõ ràng hơn. Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.

coi chừng

  • Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
  • Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
  • Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.

Các bước tiếp theo

  1. Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
  2. Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
  3. Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
  4. Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Spotting Fake Citations from AI quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Phát hiện trích dẫn giả từ AI là gì?

Chatbots phát minh ra các trích dẫn vì chúng tạo ra văn bản có vẻ phù hợp chứ không phải văn bản mà chúng đã kiểm tra. Một tài liệu tham khảo bịa đặt có thể có các tác giả có vẻ thực tế, một tạp chí đáng tin cậy và thậm chí cả DOI. Điều đó quan trọng vì nguồn giả mạo hoặc phân bổ sai trong bài viết của bạn có thể khiến bạn bị điểm, làm tổn hại đến uy tín của bạn hoặc trong môi trường chuyên nghiệp dẫn đến các biện pháp trừng phạt chính thức.

Tại sao chatbot có thể tạo ra một trích dẫn không tồn tại?

Nếu không có bước tìm kiếm, mô hình sẽ tạo ra văn bản phù hợp với mẫu trích dẫn mà không có sự kiểm tra tích hợp nào để đảm bảo rằng tham chiếu đó tồn tại.

Loại trích dẫn xấu nào mà người hướng dẫn gọi là khó phát hiện nhất?

Khi bài báo đã có và các chi tiết đều đúng thì chỉ đọc thôi cũng thấy nó không nói lên những gì chatbot đã tuyên bố.

Điều gì đã xảy ra trong vụ Mata kiện Avianca vào năm 2023?

Các luật sư đã nộp bản tóm tắt về các vụ án mà ChatGPT đã bịa ra và tòa án đã xử phạt họ.

Khi kiểm tra DOI, bạn nên xác nhận điều gì sau khi mở nó thông qua doi.org?

DOI giả tạo có thể mở ra một bài báo thật, khác, vì vậy bạn phải so sánh tiêu đề và tác giả chứ không chỉ xem liên kết có hoạt động hay không.

Bạn nên làm gì nếu không thể xác minh nguồn?

Nếu một nguồn không thể được xác minh thì nó không thuộc về tác phẩm của bạn. Hướng dẫn bảo xóa nó đi.