गाइड से जुड़ी प्रश्नोत्तरी · कठिन स्तर
कैश-संवर्धित पीढ़ी (सीएजी) प्रश्नोत्तरी
कैश-संवर्धित पीढ़ी के बारे में अपनी समझ का परीक्षण करें: केवी कैश कैसे प्रीलोड और पुन: उपयोग किए जाते हैं, प्रश्नों के बीच कैश रीसेट होता है, और कॉर्पस-आकार सीमाएं।
प्रश्न 1 का 8
CAG प्रति-क्वेरी पुनर्प्राप्ति के बजाय क्या उपयोग करता है?
प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न
जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।
- CAG प्रति-क्वेरी पुनर्प्राप्ति के बजाय क्या उपयोग करता है?
- A keyword search engine
- Fine-tuning the model on the documents
- A new vector index per question
- Preloading the whole knowledge base into the KV cache once and reusing it
- ट्रांसफार्मर में KV कैश क्या होता है?
- A database of user accounts
- The stored attention keys and values computed for tokens the model has already read
- A list of document URLs
- The model's trained weights
- CAG प्रणाली प्रत्येक उत्तर के बाद कैश को छोटा क्यों कर देती है?
- To save the answer for training
- To delete the documents permanently
- To restore the documents-only state so the next query does not see the previous question and answer
- To switch to a different model
- CAG की मुख्य सीमा क्या है?
- The entire corpus must fit in the model's context window
- It requires a vector database
- It cannot answer questions quickly
- यह मॉडल का वजन बदल देता है
- CAG हर अनुरोध में दस्तावेज़ चिपकाने की तुलना में तेज़ी से उत्तर क्यों देता है?
- It skips generating output tokens
- The model only needs to compute the new question tokens on top of the cached prefix
- यह एक छोटे मॉडल का उपयोग करता है
- It retrieves fewer documents
- Which knowledge base is the best fit for CAG?
- A news archive updated every hour
- Millions of customer records with per-user permissions
- An entire web crawl
- A small, stable product manual that rarely changes
- Which statement about CAG is a misconception?
- CAG removes retrieval errors because all documents are present
- Changing documents requires rebuilding the cache
- CAG fine-tunes the model's weights on the documents
- Hosted prompt caching is related to the idea
- Which techniques reduce the memory needed for a large KV cache?
- Grouped-query attention and cache quantization
- अधिक ध्यान प्रमुखों को जोड़ना
- Using longer prompts
- Raising the sampling temperature