Tiếp theoHướng dẫn tiếp theo
Cách Khởi Động Mô Hình Lý Luận
Ngôn ngữ AI
HƯỚNG DẪN AI về ngôn ngữ
Nỗ lực suy luận và ngân sách suy nghĩ là các cài đặt trên các mô hình suy luận, kiểm soát mức độ xử lý từng bước bên trong mà mô hình thực hiện trước khi trả lời.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Suy nghĩ nhiều hơn thường cải thiện kết quả trên các vấn đề khó như toán học, lập trình và phân tích nhiều bước, nhưng nó làm tăng chi phí và độ trễ, và sau một mức độ nhất định, nó ngừng giúp ích. Việc chọn đúng mức cho từng tác vụ là một trong những cách đơn giản nhất để cân bằng giữa chất lượng, tốc độ và giá cả.
Reasoning models are trained to produce a chain of intermediate reasoning before their final answer. That reasoning is made of tokens, just like the answer, and generating it takes time and money. Providers let you control how much of it happens. OpenAI exposes a reasoning_effort parameter on its reasoning models with levels such as low, medium and high; some newer models add a minimal level. Anthropic's extended thinking on supported Claude models takes a budget_tokens value that sets the maximum number of tokens Claude may use for thinking; the budget has a minimum of 1,024 tokens and must be smaller than max_tokens. Google's Gemini 2.5 models accept a thinking budget, and some can have thinking turned down or off. The names differ, but the idea is the same: a dial between fast and thorough. These settings are guidance, not exact counts. A model given a large budget may use only part of it on an easy question, and effort levels shift behavior rather than fixing a number. Cost is the part people often miss. Reasoning tokens are generally billed as output tokens even when you cannot see them, and output tokens usually cost more than input tokens. A short visible answer can carry a large hidden bill. Latency grows too, since every reasoning token is generated in sequence. More thinking has diminishing returns. On easy or factual lookup questions, extra reasoning rarely improves accuracy and can sometimes lead a model to overcomplicate or second-guess a correct answer. Gains are largest on problems that genuinely need several steps. A common misconception is that the highest setting is always best. The practical approach is to test your own tasks at several levels and pick the lowest one that meets your quality bar.
Một bot hỗ trợ khách hàng trả lời các câu hỏi đơn giản về đơn hàng sử dụng nỗ lực suy luận thấp, giúp phản hồi nhanh và rẻ mà không làm giảm độ chính xác.
Một nhà phát triển đang gỡ lỗi một lỗi đồng thời khó khăn chuyển sang mức nỗ lực cao cho một yêu cầu đó và nhận được chẩn đoán chính xác mà mức cài đặt thấp đã bỏ sót.
Một nhóm sử dụng suy nghĩ mở rộng của Anthropic đặt ngân sách vài nghìn token cho việc xem xét tài liệu thường quy và một ngân sách lớn hơn nhiều chỉ cho các điều khoản hợp đồng được đánh dấu là bất thường.
Một nhà phân tích chạy cùng một bộ 50 câu hỏi kiểm tra ở mức nỗ lực thấp, trung bình và cao và phát hiện ra rằng mức trung bình khớp với mức cao về độ chính xác cho các tác vụ của họ với chi phí thấp hơn, vì vậy họ chuẩn hóa ở mức trung bình.
Các nhà cung cấp đang hướng tới các mô hình tự quyết định thời gian suy nghĩ, với các cài đặt nỗ lực đóng vai trò là giới hạn thay vì các chỉ thị cố định; ví dụ, các mô hình mới hơn của Anthropic cung cấp suy nghĩ thích ứng, và một số sản phẩm đã tự động chuyển đổi giữa chế độ nhanh và chế độ suy luận. Nghiên cứu tiếp tục nhằm làm cho suy luận hiệu quả hơn để độ chính xác tương tự cần ít token hơn. Tên tham số, các giá trị được phép và giá cả đã thay đổi nhiều lần và có khả năng sẽ tiếp tục thay đổi, vì vậy hãy coi các cài đặt hiện tại là các chi tiết cụ thể của nhà cung cấp và chạy lại các đánh giá của riêng bạn khi nâng cấp mô hình.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Nỗ lực suy luận và ngân sách suy nghĩ là các cài đặt trên các mô hình suy luận, kiểm soát mức độ xử lý từng bước bên trong mà mô hình thực hiện trước khi trả lời. Suy nghĩ nhiều hơn thường cải thiện kết quả trên các vấn đề khó như toán học, lập trình và phân tích nhiều bước, nhưng nó làm tăng chi phí và độ trễ, và sau một mức độ nhất định, nó ngừng giúp ích. Việc chọn đúng mức cho từng tác vụ là một trong những cách đơn giản nhất để cân bằng giữa chất lượng, tốc độ và giá cả.
Các cài đặt này điều chỉnh mức độ suy luận trung gian mà một mô hình suy luận tạo ra trước câu trả lời cuối cùng của nó.
Các token suy luận thường được tính phí như các token đầu ra, thường có chi phí cao hơn so với đầu vào, ngay cả khi chúng không được hiển thị.
Ngân sách có giá trị tối thiểu là 1.024 token và phải nhỏ hơn max_tokens để có chỗ cho câu trả lời.
Ngân sách là các giới hạn trên và hướng dẫn. Với các câu hỏi dễ, mô hình thường sử dụng ít hơn nhiều.
Mức tăng trưởng lớn nhất nằm ở các bài toán nhiều bước. Các tác vụ dễ hiếm khi được hưởng lợi và thậm chí có thể bị ảnh hưởng tiêu cực do suy nghĩ quá mức.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Cách Khởi Động Mô Hình Lý Luận
Ngôn ngữ AI