Lấy mẫu điển hình
Lấy mẫu điển hình là phương pháp tạo văn bản chọn từ tiếp theo từ các mã thông báo có nội dung thông tin gần với mức độ ngạc nhiên dự kiến của mô hình, thay vì luôn lấy những từ có khả năng xảy ra nhất.
Tổng quan
It aims for output that feels natural and human-like by matching how real language balances predictability and novelty.
Lặn sâu
Khi một mô hình ngôn ngữ dự đoán mã thông báo tiếp theo, nó sẽ tạo ra phân phối xác suất trên hàng nghìn tùy chọn. Các phương pháp tham lam và top-k thiên về các mã thông báo có xác suất cao, có thể khiến văn bản lặp đi lặp lại và nhạt nhẽo. Việc lấy mẫu điển hình, được Meister và các đồng nghiệp giới thiệu vào năm 2022, có một góc độ khác bắt nguồn từ lý thuyết thông tin. Mô hình tính toán nội dung thông tin mong đợi của nó (entropy của phân phối). Sau đó, các mã thông báo sẽ được tính điểm bằng mức độ ngạc nhiên của chính chúng so với kỳ vọng đó. Việc lấy mẫu điển hình giữ lại tập hợp các mã thông báo có giá trị bất ngờ gần nhất với mức trung bình cho đến khi xác suất kết hợp của chúng đạt đến ngưỡng, sau đó lấy mẫu từ tập hợp đó. Kết quả là văn bản không ngẫu nhiên đến kinh ngạc hay có thể đoán trước một cách đơn điệu, phản ánh cách con người giao tiếp một cách tự nhiên ở mức gần với tốc độ thông tin ổn định.
Hiểu biết kỹ thuật
Đối với mỗi mã thông báo ứng cử viên, mô hình tính toán mức độ bất ngờ, xác suất ghi nhật ký âm. Nó cũng tính toán entropy có điều kiện, mức trung bình bất ngờ theo trọng số xác suất trên tất cả các mã thông báo. Việc lấy mẫu điển hình xếp hạng các mã thông báo theo sự khác biệt tuyệt đối giữa giá trị bất ngờ của chúng và entropy đó, sau đó thêm các mã thông báo gần nhất một cách tham lam cho đến khi xác suất tích lũy của chúng đạt đến tham số tau (thường khoảng 0,9 đến 0,95). Việc lấy mẫu chỉ diễn ra bên trong tập hợp điển hình cục bộ này, loại bỏ cả các ngoại lệ cực đoan và các lựa chọn có xác suất cao buồn tẻ nhất.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của việc lấy mẫu điển hình
Lấy mẫu điển hình đang trở thành một lựa chọn tiêu chuẩn cùng với top-p và top-k trong các ngăn xếp suy luận nguồn mở như llama.cpp và Hugging Face Transformers. Mong đợi việc sử dụng ngày càng tăng trong văn bản sáng tạo, đối thoại và tạo câu chuyện trong đó việc giải mã quá an toàn sẽ ảnh hưởng đến chất lượng. Các nhà nghiên cứu đang kết hợp nó với các ngưỡng thích ứng thay đổi theo ngữ cảnh và kết hợp nó với các hình phạt lặp lại. Khi quá trình giải mã lý thuyết thông tin hoàn thiện, việc lấy mẫu điển hình có thể cung cấp thông tin về các phương pháp tự động, nhận biết phân phối giúp gỡ bỏ các cài đặt nhiệt độ được điều chỉnh bằng tay.
Triển khai trong thế giới thực
Tạo ra tiểu thuyết hoặc thơ ca trong đó việc giải mã tham lam tạo ra văn xuôi buồn tẻ, lặp đi lặp lại và các nhà văn muốn có sự đa dạng tự nhiên hơn.
Hỗ trợ các câu trả lời của chatbot giúp tránh sử dụng cách diễn đạt theo công thức, máy móc trong khi vẫn mạch lạc và đúng chủ đề.
Có sẵn dưới dạng cờ giải mã (điển hình_p) trong Máy biến áp ôm mặt dành cho các nhà phát triển điều chỉnh đầu ra mô hình nguồn mở.
Được sử dụng trong các thời gian chạy LLM cục bộ như llama.cpp và text-gen-webui để thay thế cho top-p để có văn bản phong phú hơn, ít suy biến hơn.
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Typical Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Xác minh lấy mẫu suy đoán
Câu hỏi thường gặp
What is Typical Sampling?
Lấy mẫu điển hình là phương pháp tạo văn bản chọn từ tiếp theo từ các mã thông báo có nội dung thông tin gần với mức độ ngạc nhiên dự kiến của mô hình, thay vì luôn lấy những từ có khả năng xảy ra nhất. Nó nhằm mục đích tạo ra kết quả tự nhiên và giống con người bằng cách kết hợp cách ngôn ngữ thực cân bằng giữa khả năng dự đoán và tính mới.
Việc lấy mẫu điển hình so sánh từng mã thông báo ứng cử viên với số lượng cốt lõi nào?
Lấy mẫu điển hình đo lường mức độ bất ngờ của mỗi mã thông báo so với entropy của phân phối, nội dung thông tin dự kiến, giữ các mã thông báo có mức bất ngờ gần nhất với mức trung bình đó.
Việc lấy mẫu điển hình xử lý mã thông báo có khả năng xảy ra cao nhất như thế nào?
Một mã thông báo có xác suất rất cao có mức độ ngạc nhiên rất thấp, có thể khác xa mức trung bình, do đó việc lấy mẫu điển hình có thể loại nó ra khỏi nhóm ứng cử viên để ưu tiên các mã thông báo 'điển hình' hơn.
Việc lấy mẫu điển hình được thúc đẩy bởi ý tưởng nào về ngôn ngữ của con người?
Phương pháp này dựa trên giả thuyết rằng ngôn ngữ tự nhiên luôn ở gần tốc độ thông tin thống nhất, do đó, nó ưu tiên các mã thông báo mang mức độ ngạc nhiên gần đến mức trung bình.
Tham số tau trong kiểm soát lấy mẫu điển hình là gì?
Tau đặt xác suất tích lũy mục tiêu; các mã thông báo gần entropy nhất được thêm vào cho đến khi xác suất kết hợp của chúng đạt đến tau, xác định tập hợp để lấy mẫu từ đó.
Việc lấy mẫu điển hình thường được các nhà phát triển tiếp xúc với loại phần mềm nào?
Lấy mẫu điển hình được triển khai dưới dạng tùy chọn giải mã (ví dụ điển hình_p) trong các thư viện như Hugging Face Transformers và các thời gian chạy cục bộ như llama.cpp.