Tiếp theoHướng dẫn tiếp theo
Tăng cường thời gian thử nghiệm
kỹ thuật
HƯỚNG DẪN AI về ngôn ngữ
Chia tỷ lệ tính toán thời gian thử nghiệm
Chia tỷ lệ tính toán trong thời gian thử nghiệm có nghĩa là cho mô hình nhiều thời gian suy nghĩ và tính toán hơn khi trả lời một câu hỏi, thay vì chỉ làm cho mô hình lớn hơn trong quá trình đào tạo.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
It is the breakthrough behind 'reasoning models' that can solve hard math and coding problems by deliberating before responding.
Lặn sâu
Trong nhiều năm, sự tiến bộ của AI đồng nghĩa với việc đào tạo mở rộng quy mô: nhiều dữ liệu hơn, nhiều tham số hơn, nhiều tính toán tiền đào tạo hơn. Chia tỷ lệ điện toán trong thời gian thử nghiệm sẽ thêm trục thứ hai, tốn nhiều thời gian tính toán hơn khi suy luận. Thay vì đưa ra câu trả lời ngay lập tức, mô hình lý luận tạo ra một chuỗi suy nghĩ nội bộ dài, khám phá các bước, kiểm tra công việc và quay lại. Các kỹ thuật bao gồm chuỗi suy nghĩ mở rộng, lấy mẫu nhiều giải pháp ứng viên và chọn ra giải pháp tốt nhất (tự nhất quán hoặc tốt nhất trong N) và tìm kiếm theo kiểu cây được hướng dẫn bởi người xác minh hoặc mô hình khen thưởng. Tư duy mở rộng của OpenAI, DeepSeek-R1 và Claude đã phổ biến điều này: độ chính xác trong lập trình và toán học cạnh tranh tăng vọt khi bạn để mô hình 'suy nghĩ lâu hơn', giao dịch độ trễ và chi phí cho tính chính xác đối với các vấn đề mà câu trả lời nhanh không thành công.
Triển khai trong thế giới thực
Các mô hình o1 và o3 của OpenAI suy nghĩ từng bước về các bài toán cấp độ Olympic, vượt xa đáng kể các mô hình có câu trả lời tức thì trên AIME và điểm chuẩn cạnh tranh.
DeepSeek-R1 đã sử dụng phương pháp học tăng cường để dạy lý luận theo chuỗi suy nghĩ dài, thể hiện một cách công khai mức độ chính xác cao nhờ tính toán suy luận bổ sung.
Chế độ tư duy mở rộng của Claude cho phép các nhà phát triển đặt ngân sách mã thông báo để mô hình xử lý các nhiệm vụ phân tích hoặc mã hóa phức tạp lâu hơn trước khi trả lời.
AlphaCode và các hệ thống tương tự lấy mẫu hàng nghìn chương trình ứng viên tại thời điểm thử nghiệm, sau đó lọc và xếp hạng chúng để giải quyết các thách thức lập trình mang tính cạnh tranh.
Tương lai của việc mở rộng quy mô tính toán trong thời gian thử nghiệm
Tính toán trong thời gian thử nghiệm hiện là đòn bẩy mở rộng quy mô chính cùng với hoạt động đào tạo. Mong đợi ngân sách thích ứng trong đó mô hình quyết định mức độ khó suy nghĩ dựa trên độ khó, lý luận rẻ hơn thông qua việc chắt lọc các chuỗi dài thành các chuỗi ngắn hơn và các vòng lặp 'tác nhân' xen kẽ suy nghĩ với các lệnh gọi công cụ và tìm kiếm trên web. Khi phần cứng suy luận được cải thiện, lý luận có chủ ý sẽ trở thành mặc định cho các nhiệm vụ có tính đặt cược cao như nghiên cứu khoa học, công nghệ phần mềm và lập kế hoạch phức tạp, trong khi việc tra cứu nhanh vẫn nhanh chóng và rẻ.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Tốc độ và tỷ lệ. Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
- Truy cập và tiếp cận. Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
- Quyết định rõ ràng hơn. Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
coi chừng
- Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
- Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
- Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Các bước tiếp theo
- Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
- Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
- Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
- Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Test-Time Compute Scaling quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is Test-Time Compute Scaling?
Chia tỷ lệ tính toán trong thời gian thử nghiệm có nghĩa là cho mô hình nhiều thời gian suy nghĩ và tính toán hơn khi trả lời một câu hỏi, thay vì chỉ làm cho mô hình lớn hơn trong quá trình đào tạo. Đó là bước đột phá đằng sau 'mô hình lý luận' có thể giải quyết các vấn đề toán học và mã hóa khó bằng cách cân nhắc trước khi trả lời.
'Tính toán thời gian thử nghiệm' đề cập đến điều gì?
Tính toán trong thời gian thử nghiệm (thời gian suy luận) là công việc được thực hiện trong khi tạo ra câu trả lời, khác với tính toán được sử dụng trong quá trình đào tạo trước.
In test-time scaling studies, what can extra inference compute be used for?
The study examines inference-time strategies including sampling candidates, revising answers and using process-based reward models to allocate computation.
Sự đánh đổi cốt lõi của việc mở rộng quy mô điện toán trong thời gian thử nghiệm là gì?
Để một mô hình suy nghĩ lâu hơn sẽ cải thiện tính chính xác của các vấn đề khó nhưng làm tăng thời gian phản hồi và chi phí tính toán.
Lấy mẫu 'tốt nhất trong N' là gì?
Best-of-N tạo ra nhiều lần thử giải pháp song song và sử dụng trình chấm điểm hoặc trình xác minh để giữ lại giải pháp mạnh nhất, một dạng chia tỷ lệ thời gian thử nghiệm.
Tại sao tính toán trong thời gian thử nghiệm được coi là một 'trục tỷ lệ' mới?
Trong nhiều năm, việc mở rộng quy mô có nghĩa là các đợt đào tạo lớn hơn; Tính toán trong thời gian thử nghiệm bổ sung thêm cách thứ hai để tăng cường khả năng, bằng cách tính toán nhiều hơn ở mức suy luận.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này