Tiếp theoHướng dẫn tiếp theo
Xu hướng đại diện và lấy mẫu trong bộ dữ liệu
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Lấy mẫu theo lịch trình và xu hướng phơi nhiễm
Độ lệch tiếp xúc là khoảng cách xuất hiện khi một mô hình chỉ được đào tạo dựa trên các tiền tố hoàn hảo, khi suy luận, phải dựa trên các kết quả đầu ra không hoàn hảo của chính nó.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Scheduled sampling is a curriculum that gradually closes that gap.
Lặn sâu
Các mô hình được đào tạo với sự ép buộc của giáo viên chỉ xem các mã thông báo thực tế dưới dạng bối cảnh, nhưng tại thời điểm thế hệ, họ phản hồi lại dự đoán của chính mình. Khi một lỗi ban đầu khiến mô hình rơi vào trạng thái mà nó chưa từng gặp phải trong quá trình đào tạo, các lỗi có thể xảy ra như quả cầu tuyết, một chế độ lỗi được gọi là sai lệch phơi sáng. Lấy mẫu theo lịch trình, được Bengio và các đồng nghiệp giới thiệu vào năm 2015, giải quyết vấn đề này bằng cách tung đồng xu ở mỗi bước giải mã trong quá trình đào tạo: với một số xác suất, nó cung cấp mã thông báo thực (giáo viên ép buộc) và mặt khác, nó cung cấp dự đoán được lấy mẫu của chính mô hình. Xác suất sử dụng sự thật cơ bản bắt đầu gần một và giảm dần trong quá trình đào tạo thông qua một lịch trình (tuyến tính, hàm mũ hoặc nghịch đảo sigmoid), do đó, mô hình dần dần tiếp xúc với kết quả đầu ra của chính nó và học cách phục hồi sau những sai lầm của nó.
Triển khai trong thế giới thực
Huấn luyện mô hình phụ đề hình ảnh bằng cách lấy mẫu theo lịch trình để mô hình này học cách tiếp tục một cách duyên dáng sau một từ được dự đoán không hoàn hảo
Giảm xác suất ép buộc của giáo viên bằng lịch trình sigmoid nghịch đảo trong hệ thống dịch máy thần kinh
Chẩn đoán một chatbot đi vào các vòng lặp không mạch lạc như một triệu chứng thiên vị tiếp xúc do sự ép buộc thuần túy của giáo viên
So sánh điểm BLEU của một người tóm tắt được đào tạo với sự ép buộc đầy đủ của giáo viên với một người được đào tạo lấy mẫu theo lịch trình
Tương lai của việc lấy mẫu theo lịch trình và sai lệch phơi nhiễm
Đối với các mô hình ngôn ngữ Transformer lớn, tác động thực tế của sai lệch tiếp xúc đang được tranh luận, vì dữ liệu khổng lồ và quy mô làm giảm nó và các phương pháp như RLHF trực tiếp định hình lại hành vi tạo ra. Tuy nhiên, việc lấy mẫu theo lịch trình và các hệ quả của nó vẫn phù hợp với các mô hình nhỏ hơn, việc tạo có cấu trúc và các nhiệm vụ có nhu cầu nghiêm ngặt về độ chính xác. Công việc trong tương lai kết hợp việc tiếp xúc với chương trình giảng dạy, các mục tiêu theo trình tự theo phong cách củng cố và đào tạo với rủi ro tối thiểu để điều chỉnh cách đào tạo các mô hình với cách chúng thực sự giải mã.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chi phí và ngân sách. Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
- Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
- Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
coi chừng
- Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
- Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
- Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Các bước tiếp theo
- Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
- Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
- Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
- Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Scheduled Sampling and Exposure Bias quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is Scheduled Sampling and Exposure Bias?
Độ lệch tiếp xúc là khoảng cách xuất hiện khi một mô hình chỉ được đào tạo dựa trên các tiền tố hoàn hảo, khi suy luận, phải dựa trên các kết quả đầu ra không hoàn hảo của chính nó. Lấy mẫu theo lịch trình là một chương trình giảng dạy dần dần thu hẹp khoảng cách đó.
Lấy mẫu theo lịch trình làm gì trong quá trình đào tạo?
Lấy mẫu theo lịch trình kết hợp ngẫu nhiên các mã thông báo thực tế và mã thông báo do mô hình tạo ra làm đầu vào bộ giải mã, được kiểm soát bởi xác suất phân rã.
Xác suất sử dụng mã thông báo thực tế thay đổi như thế nào trong quá trình đào tạo lấy mẫu theo lịch trình?
Lịch trình bắt đầu gần như đầy đủ giáo viên bị ép buộc và phân rã nên mô hình ngày càng tiếp xúc với những dự đoán của chính nó khi nó được cải thiện.
Ai đã giới thiệu việc lấy mẫu theo lịch trình và khoảng thời gian nào?
Lấy mẫu theo lịch trình đã được Samy Bengio và các đồng nghiệp đề xuất vào năm 2015 để dự đoán trình tự với các mạng lặp lại.
Hình dạng lịch trình nào thường được coi là nguyên nhân làm giảm xác suất ép buộc của giáo viên?
Công việc ban đầu đề xuất các lịch trình phân rã tuyến tính, hàm mũ và nghịch đảo sigmoid để giảm xác suất lấy mẫu sự thật cơ bản.
At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
Scheduled sampling sometimes feeds the model’s own sampled prediction instead of the gold previous token.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này