Викторина, связанная с руководством · Средний Уровень
Тест по уменьшению задержки приложения LLM
Сопоставьте методы измерения задержки с этапами, на которые они влияют, и проверьте компромиссы в отношении качества, актуальности, надежности, конфиденциальности и стоимости.
Вопрос 1 из 8
Что обычно улучшает потоковая передача для пользователя?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Что обычно улучшает потоковая передача для пользователя?
- The model’s factual accuracy automatically
- How soon partial output becomes visible, not necessarily total completion time
- The time required to train the model
- The freshness of cached data
- Когда параллельное выполнение наиболее целесообразно?
- When each call depends on the previous result
- Whenever a request uses a model
- When failures must be hidden
- When calls are independent and their results can be combined safely
- Что может уменьшить кэширование подсказок провайдера?
- Repeated processing for eligible shared prompt prefixes
- Every application response’s generation time to zero
- All output tokens billed by every provider
- The need for authorization checks
- What risk comes with application-level response caching?
- Increasing model accuracy automatically
- Making every cache miss faster
- Returning stale or user-specific content to the wrong request
- Removing the need for network security
- What should be done before routing a task to a smaller model?
- Assume smaller models always perform identically
- Evaluate task-specific quality as well as latency and cost
- Disable all monitoring
- Use only training accuracy
- Почему пакетные API обычно не подходят для интерактивного ответа?
- They are designed for asynchronous processing windows rather than immediate response
- They return outputs before receiving requests
- They always have lower final accuracy
- They cannot process multiple requests
- Как приложение должно сократить задержку вызова инструментов?
- Run all calls concurrently regardless of dependency
- Skip permission checks
- Cache all results indefinitely
- Remove unnecessary round trips and parallelize only independent steps
- What should a latency optimization experiment monitor?
- Only average TTFT
- Only the number of source files
- Tail latency, failures, quality, and cost on representative traffic
- Только размер модели