Câu đố về bộ nhớ đệm nhanh chóng

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Bộ nhớ đệm nhắc nhở do nhà cung cấp quản lý có thể tránh được yêu cầu nào sau này?
   • Recomputing some work for an eligible repeated prompt prefix
   • Running the model on any new user content
   • Checking provider-specific cache eligibility
   • Applying attention to the uncached part of a request
2. Tại sao một thay đổi nhỏ về tiền tố nhắc nhở có thể ảnh hưởng đến tính đủ điều kiện của bộ nhớ đệm?
   • Every provider guarantees cache reuse regardless of prompt changes
   • Provider-specific matching rules or breakpoints may make the changed prefix ineligible for reuse
   • Causal attention prevents any prefix from being reused
   • Changing later content always invalidates every earlier prefix
3. Kịch bản nào được hưởng lợi NHIỀU NHẤT từ bộ nhớ đệm nhanh chóng?
   • Một câu hỏi duy nhất với một lời nhắc ngắn
   • Lời nhắc trong đó mỗi từ thay đổi mỗi lần
   • Nhiều yêu cầu đều chia sẻ một tài liệu hoặc lời nhắc hệ thống dài, giống hệt nhau
   • Tạo số ngẫu nhiên không có đầu vào
4. Nhóm nên ước tính tác động về giá của một lần truy cập bộ nhớ đệm nhanh như thế nào?
   • Assume every provider discounts cached tokens by 90%
   • Assume cache hits are always free
   • Use the number of prompt characters alone
   • Use the current provider and model pricing for cached versus uncached tokens
5. Bộ đệm nhắc nhở vẫn có sẵn trong bao lâu?
   • It depends on the provider, model, and cache-retention settings
   • Exactly one hour for every provider
   • Forever unless a user deletes it
   • Exactly five minutes in every API
6. How can an OpenAI API client identify how many input tokens were served from cache?
   • The number of characters in the system message
   • The response usage field input_tokens_details.cached_tokens
   • The cache key length
   • Số lượng tham số mô hình
7. In OpenAI implicit prompt-caching mode, where is a breakpoint placed by default?
   • It caches every prompt regardless of length
   • It disables prefix matching
   • It places a breakpoint at the end of the latest eligible message
   • It stores all user prompts permanently
8. What should a team check before caching sensitive prompt content?
   • Only the color of the API dashboard
   • Whether the prompt contains an odd number of tokens
   • Whether another provider offers the same discount
   • The provider’s retention, data-use, and cache-control terms for the selected model