Lấy mẫu theo lịch trình và xu hướng phơi nhiễm
Độ lệch tiếp xúc là khoảng cách xuất hiện khi một mô hình chỉ được đào tạo dựa trên các tiền tố hoàn hảo, khi suy luận, phải dựa trên các kết quả đầu ra không hoàn hảo của chính nó.
Tổng quan
Scheduled sampling is a curriculum that gradually closes that gap.
Lặn sâu
Các mô hình được đào tạo với sự ép buộc của giáo viên chỉ xem các mã thông báo thực tế dưới dạng bối cảnh, nhưng tại thời điểm thế hệ, họ phản hồi lại dự đoán của chính mình. Khi một lỗi ban đầu khiến mô hình rơi vào trạng thái mà nó chưa từng gặp phải trong quá trình đào tạo, các lỗi có thể xảy ra như quả cầu tuyết, một chế độ lỗi được gọi là sai lệch phơi sáng. Lấy mẫu theo lịch trình, được Bengio và các đồng nghiệp giới thiệu vào năm 2015, giải quyết vấn đề này bằng cách tung đồng xu ở mỗi bước giải mã trong quá trình đào tạo: với một số xác suất, nó cung cấp mã thông báo thực (giáo viên ép buộc) và mặt khác, nó cung cấp dự đoán được lấy mẫu của chính mô hình. Xác suất sử dụng sự thật cơ bản bắt đầu gần một và giảm dần trong quá trình đào tạo thông qua một lịch trình (tuyến tính, hàm mũ hoặc nghịch đảo sigmoid), do đó, mô hình dần dần tiếp xúc với kết quả đầu ra của chính nó và học cách phục hồi sau những sai lầm của nó.
Hiểu biết kỹ thuật
Ở bước t, mô hình lấy mẫu biến Bernoulli với xác suất epsilon_i chọn mã thông báo vàng; epsilon_i phân rã khi quá trình đào tạo diễn ra. Một điều tinh tế là việc cung cấp mã thông báo được lấy mẫu làm cho mục tiêu bị sai lệch và việc lấy mẫu rời rạc không thể phân biệt được, do đó độ dốc không chảy rõ ràng qua mã thông báo được phản hồi. Các biến thể sử dụng Gumbel-softmax xuyên suốt hoặc các biện pháp nới lỏng khác biệt để giảm thiểu điều này và các phương pháp cấp trình tự tối ưu hóa trực tiếp một số liệu như BLEU.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của việc lấy mẫu theo lịch trình và sai lệch phơi nhiễm
Đối với các mô hình ngôn ngữ Transformer lớn, tác động thực tế của sai lệch tiếp xúc đang được tranh luận, vì dữ liệu khổng lồ và quy mô làm giảm nó và các phương pháp như RLHF trực tiếp định hình lại hành vi tạo ra. Tuy nhiên, việc lấy mẫu theo lịch trình và các hệ quả của nó vẫn phù hợp với các mô hình nhỏ hơn, việc tạo có cấu trúc và các nhiệm vụ có nhu cầu nghiêm ngặt về độ chính xác. Công việc trong tương lai kết hợp việc tiếp xúc với chương trình giảng dạy, các mục tiêu theo trình tự theo phong cách củng cố và đào tạo với rủi ro tối thiểu để điều chỉnh cách đào tạo các mô hình với cách chúng thực sự giải mã.
Triển khai trong thế giới thực
Huấn luyện mô hình phụ đề hình ảnh bằng cách lấy mẫu theo lịch trình để mô hình này học cách tiếp tục một cách duyên dáng sau một từ được dự đoán không hoàn hảo
Giảm xác suất ép buộc của giáo viên bằng lịch trình sigmoid nghịch đảo trong hệ thống dịch máy thần kinh
Chẩn đoán một chatbot đi vào các vòng lặp không mạch lạc như một triệu chứng thiên vị tiếp xúc do sự ép buộc thuần túy của giáo viên
So sánh điểm BLEU của một người tóm tắt được đào tạo với sự ép buộc đầy đủ của giáo viên với một người được đào tạo lấy mẫu theo lịch trình
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Scheduled Sampling and Exposure Bias quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Lấy mẫu âm và ước lượng tương phản tiếng ồn
Câu hỏi thường gặp
What is Scheduled Sampling and Exposure Bias?
Độ lệch tiếp xúc là khoảng cách xuất hiện khi một mô hình chỉ được đào tạo dựa trên các tiền tố hoàn hảo, khi suy luận, phải dựa trên các kết quả đầu ra không hoàn hảo của chính nó. Lấy mẫu theo lịch trình là một chương trình giảng dạy dần dần thu hẹp khoảng cách đó.
Lấy mẫu theo lịch trình làm gì trong quá trình đào tạo?
Lấy mẫu theo lịch trình kết hợp ngẫu nhiên các mã thông báo thực tế và mã thông báo do mô hình tạo ra làm đầu vào bộ giải mã, được kiểm soát bởi xác suất phân rã.
Xác suất sử dụng mã thông báo thực tế thay đổi như thế nào trong quá trình đào tạo lấy mẫu theo lịch trình?
Lịch trình bắt đầu gần như đầy đủ giáo viên bị ép buộc và phân rã nên mô hình ngày càng tiếp xúc với những dự đoán của chính nó khi nó được cải thiện.
Ai đã giới thiệu việc lấy mẫu theo lịch trình và khoảng thời gian nào?
Lấy mẫu theo lịch trình đã được Samy Bengio và các đồng nghiệp đề xuất vào năm 2015 để dự đoán trình tự với các mạng lặp lại.
Hình dạng lịch trình nào thường được coi là nguyên nhân làm giảm xác suất ép buộc của giáo viên?
Công việc ban đầu đề xuất các lịch trình phân rã tuyến tính, hàm mũ và nghịch đảo sigmoid để giảm xác suất lấy mẫu sự thật cơ bản.