HƯỚNG DẪN xã hội

Thu gọn mô hình

Sự sụp đổ mô hình mô tả sự xuống cấp có thể xảy ra khi các mô hình kế tiếp học đệ quy từ dữ liệu được tạo và mất thông tin về phân phối ban đầu.

Nghe hướng dẫn nàyAI thuật lại · ~2 min

Trên trang nàyĐọc trong 2 phút
  1. Tổng quan
  2. Những điểm chính rút ra
  3. Lặn sâu
  4. Theo dõi một danh mục đang biến mất
  5. Triển khai trong thế giới thực
  6. Đưa nó vào thực tế
  7. Nguồn tham khảo và đọc thêm
  8. Tiếp tục khám phá
  9. Câu hỏi thường gặp

Tổng quan

Đây là một phát hiện nghiên cứu trong điều kiện đào tạo và dữ liệu cụ thể, không phải bằng chứng cho thấy mọi việc sử dụng dữ liệu tổng hợp sẽ thất bại.

Những điểm chính rút ra

  1. Nêu các điều kiện huấn luyện đệ quy.
  2. Bảo tồn xuất xứ và đánh giá độc lập.
  3. Kiểm tra các trường hợp hiếm và đa dạng.

Lặn sâu

Một trình tạo gần đúng các mẫu trong phân bố huấn luyện của nó. Nếu một mô hình sau này được đào tạo chủ yếu trên các mẫu từ giá trị gần đúng đó, các lỗi và các trường hợp hiếm gặp bị thiếu có thể lan truyền. Việc lặp lại quá trình có thể thu hẹp những gì mô hình thể hiện. Nghiên cứu Tự nhiên năm 2024 điều tra hành vi này ở một số gia đình kiểu mẫu. Việc thiết lập đào tạo có vấn đề. Việc thay thế dữ liệu gốc bằng kết quả đầu ra được tạo khác với việc giữ lại dữ liệu được thu thập độc lập trong khi thêm các mẫu tổng hợp đã chọn. Việc lọc, lấy mẫu, mục tiêu và đánh giá có thể ảnh hưởng đến kết quả. Tránh coi tất cả các chiến lược dữ liệu tổng hợp là một thử nghiệm. Ghi lại quá trình xuất xứ và tạo ra tài liệu đào tạo. Giữ một bộ đánh giá có nguồn gốc độc lập mà mô hình đang được đánh giá không tạo lại. Đo lường các danh mục hiếm và tính đa dạng cũng như độ chính xác trong trường hợp thông thường, vì mức trung bình có thể che giấu việc mất phạm vi bảo hiểm. Khi thử nghiệm tăng cường tổng hợp, hãy so sánh đường cơ sở dữ liệu thực, hỗn hợp được đề xuất và các lựa chọn thay thế có liên quan trong cùng một ngân sách. Báo cáo những điều kiện nào được cải thiện hoặc xuống cấp. Một kết luận hữu ích mô tả thiết lập đã được thử nghiệm và sự không chắc chắn thay vì dự đoán số phận không thể tránh khỏi cho tất cả các hệ thống AI.

04Ví dụ hoạt động

Theo dõi một danh mục đang biến mất

  1. Xây dựng một tập dữ liệu đồ chơi với 90 ví dụ về một mẫu phổ biến và 10 mẫu hiếm.

  2. Giả sử một trình tạo chỉ tạo ra hai mẫu mẫu hiếm trong 100 mẫu tiếp theo. Chỉ đào tạo về những kết quả đầu ra đó sẽ thay đổi số dư được thể hiện.

  3. Đo hiệu suất của mẫu hiếm so với dữ liệu được giữ lại ban đầu trước khi lặp lại chu trình.

Những gì nó cho thấy

Kịch bản được phát minh này minh họa một cơ chế có thể xảy ra, chứ không phải kết quả định lượng của nghiên cứu được trích dẫn.

Triển khai trong thế giới thực

Theo dõi xem các danh mục hiếm có biến mất trong chu kỳ tạo dữ liệu lặp lại hay không.

So sánh tăng cường tổng hợp với đường cơ sở giữ lại dữ liệu gốc.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Rủi ro và an toàn. Những tác hại thảm khốc và thường ngày của AI đều phụ thuộc vào việc ai hiểu được rủi ro và ai có thể hành động.
  • Quyết định rõ ràng hơn. Kiến thức công cộng và chuyên môn định hình liệu chính sách an toàn mạnh mẽ có khả thi về mặt chính trị hay không.
  • Phá vỡ sự thổi phồng. Những lời giải thích rõ ràng làm giảm sự thu hút bởi sự cường điệu, PR trong phòng thí nghiệm và sân khấu đạo đức mơ hồ.

coi chừng

  • Xử lý rủi ro hiện hữu như khoa học viễn tưởng trong khi khả năng lại phức tạp.
  • Nhầm lẫn giữa an toàn sản phẩm bề mặt với sự liên kết dưới quyền tự chủ cao.
  • Chỉ để lại những khán giả không phải người Anh và không có chuyên môn với những nguồn chất lượng thấp.

Các bước tiếp theo

  1. Tách biệt các tác hại của sản phẩm, sử dụng sai và rủi ro mất kiểm soát/sai lệch.
  2. Hỏi bằng chứng nào sẽ thay đổi quan điểm của bạn về thời gian và mức độ nghiêm trọng.
  3. Ưu tiên các nguồn chính và đánh giá cụ thể hơn các tuyên bố tiếp thị.
  4. Xác định một lộ trình hành động: sự nghiệp, chính sách, nguồn tài trợ hoặc kỹ năng - không chỉ là nhận thức.

Nguồn tham khảo và đọc thêm

  1. Shumailov and colleagues, NatureCác mô hình AI sụp đổ khi được đào tạo trên dữ liệu được tạo đệ quy

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Model Collapse quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Liệu sự sụp đổ của mô hình có nghĩa là dữ liệu tổng hợp luôn có hại?

Không. Kết quả phụ thuộc vào quá trình kết hợp, tạo và lọc dữ liệu, thiết lập và đánh giá đào tạo. Kiểm tra việc sử dụng đề xuất trực tiếp.