Chia tỷ lệ tính toán thời gian thử nghiệm
Chia tỷ lệ tính toán trong thời gian thử nghiệm có nghĩa là cho mô hình nhiều thời gian suy nghĩ và tính toán hơn khi trả lời một câu hỏi, thay vì chỉ làm cho mô hình lớn hơn trong quá trình đào tạo.
Tổng quan
It is the breakthrough behind 'reasoning models' that can solve hard math and coding problems by deliberating before responding.
Lặn sâu
Trong nhiều năm, sự tiến bộ của AI đồng nghĩa với việc đào tạo mở rộng quy mô: nhiều dữ liệu hơn, nhiều tham số hơn, nhiều tính toán tiền đào tạo hơn. Chia tỷ lệ điện toán trong thời gian thử nghiệm sẽ thêm trục thứ hai, tốn nhiều thời gian tính toán hơn khi suy luận. Thay vì đưa ra câu trả lời ngay lập tức, mô hình lý luận tạo ra một chuỗi suy nghĩ nội bộ dài, khám phá các bước, kiểm tra công việc và quay lại. Các kỹ thuật bao gồm chuỗi suy nghĩ mở rộng, lấy mẫu nhiều giải pháp ứng viên và chọn ra giải pháp tốt nhất (tự nhất quán hoặc tốt nhất trong N) và tìm kiếm theo kiểu cây được hướng dẫn bởi người xác minh hoặc mô hình khen thưởng. Tư duy mở rộng của OpenAI, DeepSeek-R1 và Claude đã phổ biến điều này: độ chính xác trong lập trình và toán học cạnh tranh tăng vọt khi bạn để mô hình 'suy nghĩ lâu hơn', giao dịch độ trễ và chi phí cho tính chính xác đối với các vấn đề mà câu trả lời nhanh không thành công.
Hiểu biết kỹ thuật
Mô hình được đào tạo bằng phương pháp học tăng cường để tạo ra các mã thông báo lý luận hữu ích, sau đó khi suy luận, bạn sẽ phân bổ 'ngân sách tư duy'. Nhiều mã thông báo hơn cho phép nó phân tích các vấn đề, tự phát hiện lỗi và tự xác minh. Lấy mẫu tốt nhất trong số N và tìm kiếm theo hướng dẫn của người xác minh bổ sung khả năng tính toán song song: thực hiện nhiều lần thử, ghi điểm và giữ người chiến thắng. Điều quan trọng là các mô hình nhỏ hơn với khả năng tính toán trong thời gian thử nghiệm rộng rãi có thể phù hợp với các mô hình lớn hơn nhiều và phản hồi ngay lập tức, định hình lại đường cong chi phí.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của việc mở rộng quy mô tính toán trong thời gian thử nghiệm
Tính toán trong thời gian thử nghiệm hiện là đòn bẩy mở rộng quy mô chính cùng với hoạt động đào tạo. Mong đợi ngân sách thích ứng trong đó mô hình quyết định mức độ khó suy nghĩ dựa trên độ khó, lý luận rẻ hơn thông qua việc chắt lọc các chuỗi dài thành các chuỗi ngắn hơn và các vòng lặp 'tác nhân' xen kẽ suy nghĩ với các lệnh gọi công cụ và tìm kiếm trên web. Khi phần cứng suy luận được cải thiện, lý luận có chủ ý sẽ trở thành mặc định cho các nhiệm vụ có tính đặt cược cao như nghiên cứu khoa học, công nghệ phần mềm và lập kế hoạch phức tạp, trong khi việc tra cứu nhanh vẫn nhanh chóng và rẻ.
Triển khai trong thế giới thực
Các mô hình o1 và o3 của OpenAI suy nghĩ từng bước về các bài toán cấp độ Olympic, vượt xa đáng kể các mô hình có câu trả lời tức thì trên AIME và điểm chuẩn cạnh tranh.
DeepSeek-R1 đã sử dụng phương pháp học tăng cường để dạy lý luận theo chuỗi suy nghĩ dài, thể hiện một cách công khai mức độ chính xác cao nhờ tính toán suy luận bổ sung.
Chế độ tư duy mở rộng của Claude cho phép các nhà phát triển đặt ngân sách mã thông báo để mô hình xử lý các nhiệm vụ phân tích hoặc mã hóa phức tạp lâu hơn trước khi trả lời.
AlphaCode và các hệ thống tương tự lấy mẫu hàng nghìn chương trình ứng viên tại thời điểm thử nghiệm, sau đó lọc và xếp hạng chúng để giải quyết các thách thức lập trình mang tính cạnh tranh.
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Test-Time Compute Scaling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Tăng cường thời gian thử nghiệm
Câu hỏi thường gặp
What is Test-Time Compute Scaling?
Chia tỷ lệ tính toán trong thời gian thử nghiệm có nghĩa là cho mô hình nhiều thời gian suy nghĩ và tính toán hơn khi trả lời một câu hỏi, thay vì chỉ làm cho mô hình lớn hơn trong quá trình đào tạo. Đó là bước đột phá đằng sau 'mô hình lý luận' có thể giải quyết các vấn đề toán học và mã hóa khó bằng cách cân nhắc trước khi trả lời.
'Tính toán thời gian thử nghiệm' đề cập đến điều gì?
Tính toán trong thời gian thử nghiệm (thời gian suy luận) là công việc được thực hiện trong khi tạo ra câu trả lời, khác với tính toán được sử dụng trong quá trình đào tạo trước.
Các mô hình lý luận như o1 sử dụng tính toán bổ sung trong thời gian thử nghiệm như thế nào?
Họ đưa ra lý luận mở rộng theo từng bước, khám phá và kiểm tra các giải pháp trước khi đưa ra phản hồi cuối cùng.
Sự đánh đổi cốt lõi của việc mở rộng quy mô điện toán trong thời gian thử nghiệm là gì?
Để một mô hình suy nghĩ lâu hơn sẽ cải thiện tính chính xác của các vấn đề khó nhưng làm tăng thời gian phản hồi và chi phí tính toán.
Lấy mẫu 'tốt nhất trong N' là gì?
Best-of-N tạo ra nhiều lần thử giải pháp song song và sử dụng trình chấm điểm hoặc trình xác minh để giữ lại giải pháp mạnh nhất, một dạng chia tỷ lệ thời gian thử nghiệm.
Tại sao tính toán trong thời gian thử nghiệm được coi là một 'trục tỷ lệ' mới?
Trong nhiều năm, việc mở rộng quy mô có nghĩa là các đợt đào tạo lớn hơn; Tính toán trong thời gian thử nghiệm bổ sung thêm cách thứ hai để tăng cường khả năng, bằng cách tính toán nhiều hơn ở mức suy luận.