गाइड से जुड़ी प्रश्नोत्तरी · कठिन स्तर
एलएलएम प्रश्नोत्तरी के लिए आवश्यक जीपीयू मेमोरी का अनुमान लगाना
वजन, प्रशिक्षण स्थिति, सक्रियण और केवी कैश से एलएलएम मेमोरी का अनुमान लगाएं, और पहचानें कि संदर्भ, बैच और परिशुद्धता बजट को कैसे बदलते हैं।
प्रश्न 1 का 8
कौन सा सूत्र संग्रहीत भार मेमोरी का प्रथम-क्रम अनुमान देता है?
प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न
जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।
- कौन सा सूत्र संग्रहीत भार मेमोरी का प्रथम-क्रम अनुमान देता है?
- Number of layers multiplied by context length alone
- Parameter count without accounting for numeric precision
- Number of parameters multiplied by bytes per parameter
- Batch size multiplied by the output vocabulary only
- पूर्ण फ़ाइन-ट्यूनिंग के लिए आमतौर पर अनुमान से अधिक मेमोरी की आवश्यकता क्यों होती है?
- Training avoids loading the model weights
- It stores gradients, optimizer state, and training activations
- Forward activations are never needed for backward computation
- Gradients and optimizer state are absent during training
- मानक केवी-कैश अनुमान में दो का कारक क्या दर्शाता है?
- Two bytes are assumed per cache value even when another precision is used
- Separate forward and backward model copies are cached
- The number of KV heads is doubled to include query heads
- Separate key and value tensors are stored
- कौन से चर मानक केवी-कैश आकार को बढ़ाते हैं?
- Batch size, cached tokens, KV heads, head dimension, and bytes per value
- Only the layer count in the model configuration
- The model parameter count and the number of training examples
- Only context length; active batch size cannot affect cache memory
- समूहीकृत-क्वेरी ध्यान केवी-कैश मेमोरी को कैसे प्रभावित कर सकता है?
- It uses more KV heads than query heads by definition
- It requires all cached values to use float32
- It can use fewer key-value heads than query heads
- It removes the KV cache from autoregressive inference
- Why should memory be tested at maximum context and concurrency?
- The cache is fixed once weights are loaded, regardless of active tokens
- The cache and runtime state grow with active tokens and sequences
- Concurrency changes output quality but not memory
- The weight file is rewritten for each simultaneous request
- Which statement about optimizer memory estimates is sound?
- All optimizers use the same state size per parameter
- FP16 weights require every optimizer tensor to use FP16
- Training memory equals weight size plus input tokens only
- Bytes per parameter depend on optimizer and precision choices
- What should follow a formula-based GPU memory estimate?
- Measure peak memory with the actual model, runtime, and workload
- Assume all advertised device memory is usable for weights
- Ignore allocator and temporary workspace buffers
- Test only an empty prompt with no concurrent requests