Điều chỉnh hướng dẫn
Điều chỉnh hướng dẫn là bước huấn luyện biến bộ dự đoán văn bản thô thành mô hình thực sự tuân theo các hướng dẫn như 'tóm tắt nội dung này' hoặc 'viết câu trả lời lịch sự'. Đó là điều làm cho một mô hình cơ sở trở nên hữu ích và có thể điều khiển được.
Lặn sâu
Mô hình ngôn ngữ cơ sở chỉ được đào tạo để dự đoán mã thông báo tiếp theo trên văn bản web, vì vậy nếu bạn nhập một câu hỏi, nó có thể tiếp tục với nhiều câu hỏi hơn thay vì trả lời. Điều chỉnh hướng dẫn khắc phục điều này. Đây là một hình thức tinh chỉnh có giám sát: mô hình được đào tạo trên nhiều cặp (hướng dẫn, phản hồi lý tưởng) bao gồm hàng nghìn nhiệm vụ - dịch thuật, tóm tắt, phân loại, hỏi đáp, mã hóa, v.v. Bằng cách xem đi xem lại cùng một mẫu hướng dẫn-sau đó-câu trả lời hữu ích, mô hình sẽ tìm hiểu hành vi chung là 'làm những gì người dùng yêu cầu' và điều này khái quát hóa thành các hướng dẫn mà mô hình chưa từng thấy trong quá trình đào tạo. Cách tiếp cận này được thiết lập vào khoảng năm 2021 bởi các công việc như FLAN, T0 và Hướng dẫn tự nhiên và là trọng tâm của InstructGPT của OpenAI, đã tinh chỉnh GPT-3 trên một tập hợp các lời nhắc hướng dẫn được tuyển chọn. Đó là nền tảng mà hầu hết các trợ lý trò chuyện đều được xây dựng trên đó.
Hiểu biết kỹ thuật
Về mặt cơ học, điều chỉnh hướng dẫn là phương pháp học có giám sát tiêu chuẩn: giảm thiểu sự khác biệt giữa mã thông báo dự đoán của mô hình và câu trả lời tham chiếu, với độ dốc cập nhật trọng số. Nó khác với RLHF (học tập tăng cường từ phản hồi của con người), dựa trên và tối ưu hóa sở thích của con người bằng cách sử dụng mô hình phần thưởng. Công thức thông thường được chia thành nhiều lớp: đào tạo trước, sau đó điều chỉnh hướng dẫn (SFT) để dạy làm theo nhiệm vụ, sau đó tùy chọn RLHF để tinh chỉnh giọng điệu, tính hữu ích và sự an toàn. Sự đa dạng của dữ liệu quan trọng hơn khối lượng tuyệt đối - phạm vi nhiệm vụ rộng sẽ thúc đẩy tính khái quát hóa.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của việc điều chỉnh hướng dẫn
Lĩnh vực này đang chuyển từ các tập dữ liệu viết tay khổng lồ sang dữ liệu tổng hợp một phần, chất lượng cao hơn - đôi khi chỉ là vài nghìn ví dụ được lựa chọn cẩn thận - sau khi phát hiện ra rằng chất lượng dữ liệu có thể đánh bại số lượng. Mong đợi nhiều điều chỉnh hướng dẫn theo miền cụ thể hơn (y tế, pháp lý, mã hóa), bộ hướng dẫn đa ngôn ngữ và đa phương thức cũng như các quy trình tự động tạo và lọc dữ liệu hướng dẫn. Điều chỉnh hướng dẫn sẽ là cầu nối thiết yếu giữa mô hình được đào tạo trước thô và trợ lý có thể sử dụng được, ngày càng được kết hợp với tối ưu hóa tùy chọn để căn chỉnh.
Triển khai trong thế giới thực
Biến mô hình kiểu GPT cơ bản thành trợ lý trò chuyện trả lời các câu hỏi thay vì lặp lại chúng
FLAN-T5, được tinh chỉnh trong nhiều tác vụ để có thể làm theo hướng dẫn mà nó chưa từng được đào tạo rõ ràng
InstructGPT, trong đó GPT-3 được điều chỉnh theo hướng dẫn theo lời nhắc được quản lý để tạo ra phản hồi hữu ích hơn nhiều
Xây dựng trợ lý nội bộ công ty bằng cách tinh chỉnh các cặp hướng dẫn-phản hồi được viết bởi nhóm hỗ trợ và pháp lý
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Instruction Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Điều chỉnh tiền tố
Câu hỏi thường gặp
What is Instruction Tuning?
Điều chỉnh hướng dẫn là bước huấn luyện biến bộ dự đoán văn bản thô thành mô hình thực sự tuân theo các hướng dẫn như 'tóm tắt nội dung này' hoặc 'viết câu trả lời lịch sự'. Đó là điều làm cho một mô hình cơ sở trở nên hữu ích và có thể điều khiển được.
Việc điều chỉnh lệnh khác với RLHF như thế nào?
Điều chỉnh hướng dẫn là việc học có giám sát dựa trên các phản hồi mục tiêu. RLHF xuất hiện sau đó và tối ưu hóa mô hình theo sở thích đã học của con người.
Thuộc tính nào của dữ liệu điều chỉnh hướng dẫn giúp mô hình có khả năng thực hiện theo các hướng dẫn mới, chưa được nhìn thấy?
Bao gồm nhiều nhiệm vụ khác nhau dạy hành vi chung khi làm theo hướng dẫn, khái quát hóa thành các hướng dẫn chưa từng thấy trong quá trình đào tạo.
Thứ tự điển hình của các giai đoạn đào tạo dành cho trợ lý trò chuyện hiện đại là gì?
Trước tiên, các mô hình được đào tạo trước trên văn bản thô, sau đó được điều chỉnh theo hướng dẫn để thực hiện các nhiệm vụ và thường được tinh chỉnh bằng RLHF để đảm bảo âm sắc và độ an toàn.