गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर

Reducing LLM App Latency Quiz

Map latency techniques to the stages they affect and check tradeoffs in quality, freshness, reliability, privacy, and cost.

संबंधित मार्गदर्शक पथLLM ऐप लेटेंसी कम करना
प्रश्न 1 का 8

What does streaming usually improve for a user?

प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

  1. What does streaming usually improve for a user?
    • The model’s factual accuracy automatically
    • How soon partial output becomes visible, not necessarily total completion time
    • The time required to train the model
    • The freshness of cached data
  2. When is parallel execution most appropriate?
    • When each call depends on the previous result
    • Whenever a request uses a model
    • When failures must be hidden
    • When calls are independent and their results can be combined safely
  3. What can provider prompt caching reduce?
    • Repeated processing for eligible shared prompt prefixes
    • प्रत्येक एप्लिकेशन प्रतिक्रिया की पीढ़ी का समय शून्य हो गया
    • प्रत्येक प्रदाता द्वारा बिल किए गए सभी आउटपुट टोकन
    • प्राधिकरण जांच की आवश्यकता
  4. एप्लिकेशन-स्तरीय प्रतिक्रिया कैशिंग के साथ क्या जोखिम आता है?
    • मॉडल सटीकता स्वचालित रूप से बढ़ रही है
    • प्रत्येक कैश को तेजी से मिस करना
    • गलत अनुरोध पर पुरानी या उपयोगकर्ता-विशिष्ट सामग्री लौटाना
    • नेटवर्क सुरक्षा की आवश्यकता को दूर करना
  5. किसी कार्य को छोटे मॉडल पर भेजने से पहले क्या किया जाना चाहिए?
    • मान लें कि छोटे मॉडल हमेशा एक जैसा प्रदर्शन करते हैं
    • कार्य-विशिष्ट गुणवत्ता के साथ-साथ विलंबता और लागत का भी मूल्यांकन करें
    • सभी निगरानी अक्षम करें
    • केवल प्रशिक्षण सटीकता का उपयोग करें
  6. बैच एपीआई आम तौर पर इंटरैक्टिव उत्तर के लिए अनुपयुक्त क्यों हैं?
    • They are designed for asynchronous processing windows rather than immediate response
    • They return outputs before receiving requests
    • They always have lower final accuracy
    • They cannot process multiple requests
  7. How should an application reduce tool-call latency?
    • Run all calls concurrently regardless of dependency
    • Skip permission checks
    • Cache all results indefinitely
    • Remove unnecessary round trips and parallelize only independent steps
  8. What should a latency optimization experiment monitor?
    • Only average TTFT
    • Only the number of source files
    • Tail latency, failures, quality, and cost on representative traffic
    • केवल मॉडल का आकार