Điều chỉnh nhanh chóng
Điều chỉnh lời nhắc điều chỉnh mô hình ngôn ngữ cố định bằng cách học một số vectơ 'dấu nhắc mềm' liên tục được thêm vào đầu vào, thay vì viết các từ bằng tay.
Tổng quan
It is one of the leanest ways to specialize a giant model, and it gets better as models get bigger.
Lặn sâu
Điều chỉnh nhanh chóng, được giới thiệu bởi các nhà nghiên cứu Google Lester, Al-Rfou và Constant vào năm 2021, là họ hàng đơn giản nhất của điều chỉnh tiền tố. Thay vì tạo lời nhắc văn bản theo cách thủ công, bạn cố định toàn bộ mô hình và tìm hiểu một ma trận nhỏ gồm các phần nhúng liên tục—'lời nhắc mềm'—chỉ được thêm vào trước ở lớp đầu vào. Độ dốc giảm dần điều chỉnh các vectơ này để điều chỉnh hành vi phù hợp cho một tác vụ. Một phát hiện đáng chú ý: khi mô hình cơ sở mở rộng tới hàng tỷ tham số, việc điều chỉnh kịp thời sẽ thu hẹp khoảng cách bằng khả năng tinh chỉnh hoàn toàn, cuối cùng khớp với mô hình đó trên các điểm chuẩn như SuperGLUE. Mỗi tác vụ chỉ cần dấu nhắc mềm nhỏ của riêng nó (thường có vài nghìn tham số), do đó, một mô hình cố định có thể phục vụ nhiều tác vụ cùng một lúc. Các tác giả gọi đây là 'sức mạnh của quy mô để điều chỉnh nhanh chóng hiệu quả về tham số'.
Hiểu biết kỹ thuật
Lời nhắc mềm không phải là từ có thật—chúng là các vectơ trôi nổi tự do trong không gian nhúng không cần tương ứng với bất kỳ mã thông báo nào trong từ vựng. Chúng chỉ được thêm vào ở lớp nhúng đầu vào (không giống như điều chỉnh tiền tố, được đưa vào mọi lớp), khiến việc điều chỉnh nhanh chóng thậm chí còn nhẹ hơn. Bởi vì mô hình bị đóng băng, độ dốc chỉ quay trở lại phần nhúng dấu nhắc mềm. Việc khởi tạo, độ dài dấu nhắc và quy mô mô hình đều ảnh hưởng mạnh mẽ đến chất lượng.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của việc điều chỉnh nhanh chóng
Việc điều chỉnh kịp thời đã phổ biến ý tưởng rằng bạn có thể điều khiển các mô hình nền đông lạnh bằng các tín hiệu nhỏ đã học được và nó là nền tảng của phần lớn bộ công cụ PEFT ngày nay. Khi các mô hình tiếp tục mở rộng, hiệu ứng thu hẹp khoảng cách sẽ khiến các lời nhắc mềm trở nên hấp dẫn để triển khai đa tác vụ với chi phí thấp. Nghiên cứu đang mở rộng ý tưởng để chuyển các lời nhắc có thể học được qua các nhiệm vụ và mô hình, kết hợp chúng với khả năng truy xuất và sử dụng chúng để tạo ra khả năng kiểm soát và an toàn hơn. Mong đợi những lời nhắc nhẹ nhàng sẽ vẫn là đòn bẩy chi phí thấp cùng với LoRA và bộ điều hợp.
Triển khai trong thế giới thực
Chuyên dụng một mẫu T5 cố định cho nhiều tác vụ SuperGLUE, lưu trữ dấu nhắc mềm riêng cho mỗi tác vụ
Triển khai một mô hình lớn với chi phí thấp cho nhiều khách hàng, mỗi khách hàng đều có lời nhắc riêng đã học được
Cảm tính điều khiển hoặc hành vi phân loại mà không cần thiết kế từ ngữ theo cách thủ công
Chuyển lời nhắc mềm: đào tạo trước lời nhắc về một nhiệm vụ để bắt đầu học một nhiệm vụ liên quan
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prompt Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Prompt Engineering
Câu hỏi thường gặp
What is Prompt Tuning?
Điều chỉnh lời nhắc điều chỉnh mô hình ngôn ngữ cố định bằng cách học một số vectơ 'dấu nhắc mềm' liên tục được thêm vào đầu vào, thay vì viết các từ bằng tay. Đó là một trong những cách dễ dàng nhất để chuyên môn hóa một mô hình khổng lồ và nó sẽ trở nên tốt hơn khi các mô hình ngày càng lớn hơn.
'Dấu nhắc mềm' trong điều chỉnh dấu nhắc là gì?
Lời nhắc mềm là các vectơ liên tục có thể huấn luyện được trong không gian nhúng, không phải các từ mà con người có thể đọc được.
Điều chỉnh nhắc nhở thêm các vectơ có thể huấn luyện của nó ở đâu?
Điều chỉnh lời nhắc chỉ thêm các lời nhắc mềm ở đầu vào, điều này làm cho nó nhẹ hơn điều chỉnh tiền tố.
Bài báo gốc nêu bật tác dụng đáng ngạc nhiên nào về quy mô mô hình?
Tiêu đề của bài báo nhấn mạnh 'sức mạnh của quy mô': các mô hình lớn hơn cho phép đối thủ điều chỉnh nhanh chóng và tinh chỉnh hoàn toàn.
Ai đã giới thiệu việc điều chỉnh nhanh chóng?
Brian Lester, Rami Al-Rfou và Noah Constant tại Google đã xuất bản bài viết điều chỉnh nhanh chóng vào năm 2021.
Làm cách nào để điều chỉnh kịp thời cho phép thực hiện nhiều tác vụ từ một mô hình?
Chỉ một lời nhắc mềm nhỏ là dành riêng cho từng nhiệm vụ, do đó, một mô hình cố định có thể lưu trữ nhiều tác vụ bằng cách hoán đổi các lời nhắc.