Lấy mẫu hạt nhân và Top-k
Lấy mẫu hạt nhân (top-p) và top-k là các phương pháp giải mã bổ sung tính ngẫu nhiên được kiểm soát cho việc tạo văn bản bằng cách hạn chế những mã thông báo nào có thể được chọn.
Tổng quan
They matter because they make AI writing feel natural and varied instead of repetitive or robotic.
Lặn sâu
Một mô hình ngôn ngữ đưa ra phân bố xác suất trên toàn bộ từ vựng của nó ở mỗi bước. Lấy mẫu trực tiếp từ nó có thể chọn các mã thông báo kỳ lạ, có xác suất thấp; luôn lấy mã thông báo hàng đầu (tham lam) tạo ra các vòng lặp buồn tẻ, lặp đi lặp lại. Lấy mẫu Top-k khắc phục điều này bằng cách chỉ giữ k mã thông báo có xác suất cao nhất (giả sử k = 40), chuẩn hóa lại và lấy mẫu trong số chúng. Lấy mẫu hạt nhân, được giới thiệu bởi Holtzman et al. vào năm 2019, thay vào đó, hãy giữ nhóm mã thông báo nhỏ nhất có xác suất tích lũy vượt quá ngưỡng p (ví dụ: 0,9) — 'hạt nhân'. Ưu điểm chính là tập hợp này co lại khi mô hình tự tin và mở rộng khi không chắc chắn, thích ứng linh hoạt. Cả hai thường được kết hợp với một thông số nhiệt độ để làm rõ hơn hoặc làm phẳng sự phân bố trước khi lấy mẫu.
Hiểu biết kỹ thuật
Sự khác biệt quan trọng là điểm cắt cố định và điểm cắt thích ứng. Top-k luôn giữ chính xác k token, có thể quá ít khi có nhiều lựa chọn hợp lý hoặc bao gồm cả rác khi chỉ có một vài lựa chọn hợp lý. Top-p giữ một số thay đổi - chỉ đủ mã thông báo để bao gồm khối lượng xác suất p - vì vậy, nó cắt bớt phần đuôi dài không đáng tin cậy trong khi vẫn tôn trọng mức độ phân phối đạt đỉnh hoặc bằng phẳng. Nhiệt độ (thường là 0,7-1,0) điều chỉnh tỷ lệ log trước một trong hai phương pháp: xác suất tập trung giá trị thấp hơn, xác suất lan truyền giá trị cao hơn.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của hạt nhân và lấy mẫu Top-k
Giải mã dựa trên lấy mẫu hiện là mặc định cho chatbot và các công cụ sáng tạo, đồng thời nghiên cứu tiếp tục cải tiến nó: các phương pháp như lấy mẫu thông thường, lấy mẫu min-p và eta/epsilon nhằm mục đích cắt đuôi một cách thông minh hơn so với p hoặc k cố định. Mong đợi các tham số giải mã sẽ trở nên nhận biết ngữ cảnh hơn và thậm chí có thể học được, tự động thắt chặt để có câu trả lời thực tế và nới lỏng để động não. Khi các mô hình được cải tiến, việc kiểm soát lấy mẫu cẩn thận vẫn là điều cần thiết để cân bằng độ tin cậy, tính đa dạng và giảm ảo giác.
Triển khai trong thế giới thực
Chatbots sử dụng top-p khoảng 0,9 để giữ cho các câu trả lời đa dạng nhưng mạch lạc trong suốt cuộc trò chuyện
Trợ lý viết sáng tạo nâng cao nhiệt độ và p để lên ý tưởng cho câu chuyện đa dạng
Các công cụ tạo mã giảm nhiệt độ và k để có các đoạn mã chính xác, xác định hơn
Người dùng API điều chỉnh các tham số top_p và top_k để kiểm soát mức độ mạo hiểm của kết quả đầu ra của mô hình
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Nucleus and Top-k Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Lấy mẫu điển hình
Câu hỏi thường gặp
What is Nucleus and Top-k Sampling?
Lấy mẫu hạt nhân (top-p) và top-k là các phương pháp giải mã bổ sung tính ngẫu nhiên được kiểm soát cho việc tạo văn bản bằng cách hạn chế những mã thông báo nào có thể được chọn. Chúng quan trọng vì chúng làm cho văn bản AI có cảm giác tự nhiên và đa dạng thay vì lặp đi lặp lại hoặc robot.
Việc lấy mẫu top-k hạn chế lựa chọn mã thông báo như thế nào?
Top-k cắt bớt phân phối thành một số cố định k của các mã thông báo có khả năng xảy ra cao nhất, chuẩn hóa lại và lấy mẫu từ các mã thông báo đó.
Điều gì định nghĩa 'hạt nhân' trong lấy mẫu hạt nhân (top-p)?
Top-p giữ nhóm mã thông báo hàng đầu nhỏ nhất có xác suất tích lũy đạt đến ngưỡng p, sau đó lấy mẫu trong số đó.
Ưu điểm chính của top-p so với top-k là gì?
Tập ứng cử viên của Top-p co lại khi mô hình tự tin và tăng lên khi không chắc chắn, không giống như số lượng cố định của top-k.
Thông số nhiệt độ làm gì trước khi lấy mẫu?
Nhiệt độ thấp hơn tập trung xác suất vào các token hàng đầu (mang tính quyết định hơn); nhiệt độ cao hơn làm phẳng nó (đa dạng hơn).
Tại sao việc giải mã tham lam thuần túy (luôn là mã thông báo hàng đầu) thường không được mong muốn đối với văn bản mở?
Việc giải mã tham lam thường bị mắc kẹt trong sự lặp lại và thiếu sự đa dạng tự nhiên mà việc lấy mẫu có kiểm soát mang lại.