Викторина, связанная с руководством · Средний Уровень

Тест по уменьшению задержки приложения LLM

Сопоставьте методы измерения задержки с этапами, на которые они влияют, и проверьте компромиссы в отношении качества, актуальности, надежности, конфиденциальности и стоимости.

Связанные направляющие путиСокращение задержки приложения LLM
Вопрос 1 из 8

Что обычно улучшает потоковая передача для пользователя?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что обычно улучшает потоковая передача для пользователя?
    • The model’s factual accuracy automatically
    • How soon partial output becomes visible, not necessarily total completion time
    • The time required to train the model
    • The freshness of cached data
  2. Когда параллельное выполнение наиболее целесообразно?
    • When each call depends on the previous result
    • Whenever a request uses a model
    • When failures must be hidden
    • When calls are independent and their results can be combined safely
  3. Что может уменьшить кэширование подсказок провайдера?
    • Repeated processing for eligible shared prompt prefixes
    • Every application response’s generation time to zero
    • All output tokens billed by every provider
    • The need for authorization checks
  4. What risk comes with application-level response caching?
    • Increasing model accuracy automatically
    • Making every cache miss faster
    • Returning stale or user-specific content to the wrong request
    • Removing the need for network security
  5. What should be done before routing a task to a smaller model?
    • Assume smaller models always perform identically
    • Evaluate task-specific quality as well as latency and cost
    • Disable all monitoring
    • Use only training accuracy
  6. Почему пакетные API обычно не подходят для интерактивного ответа?
    • They are designed for asynchronous processing windows rather than immediate response
    • They return outputs before receiving requests
    • They always have lower final accuracy
    • They cannot process multiple requests
  7. Как приложение должно сократить задержку вызова инструментов?
    • Run all calls concurrently regardless of dependency
    • Skip permission checks
    • Cache all results indefinitely
    • Remove unnecessary round trips and parallelize only independent steps
  8. What should a latency optimization experiment monitor?
    • Only average TTFT
    • Only the number of source files
    • Tail latency, failures, quality, and cost on representative traffic
    • Только размер модели