GPU メモリ管理と断片化に関するクイズ

クイズに答えると、答えと解説が表示されます。

1. GPU メモリの断片化とは何ですか?
   • GPUが物理的に壊れた場合
   • モデルのレイヤーが多すぎる場合
   • 2 つの GPU の結果が一致しない場合
   • 空きメモリが、大規模な連続リクエストを満たすには小さすぎる散在チャンクに分割されている場合
2. PyTorch のようなフレームワークがキャッシュ メモリ アロケータを使用するのはなぜですか?
   • モデルをより正確にするには
   • プールされたメモリ ブロックを再利用することで、直接ドライバーの割り当てや無料呼び出しの遅延を回避するには
   • 重みを暗号化するには
   • 必要な GPU の数を 1 つに減らすには
3. A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
   • Whether fragmentation is proven by the error alone
   • Whether all live tensors have already been freed
   • Whether inactive split blocks or other allocations explain the failure
   • Whether changing the learning rate releases GPU memory
4. Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
   • Expandable segments in the allocator configuration
   • Increasing every tensor dimension
   • Disabling the GPU cooling system
   • Increasing the optimizer learning rate
5. vLLM の PagedAttendance は、推論中のメモリの無駄を削減するために何を管理していますか?
   • モデルのトレーニング データ
   • 固定サイズのページを使用したアテンション キー/値 (KV) キャッシュ
   • GPUのクロック速度
   • ログのフォントサイズ
6. メモリ不足エラーを回避するためにアクティベーション メモリを削減する手法はどれですか?
   • さらにレイヤーを追加する
   • より長い学習速度のウォームアップを使用する
   • 勾配チェックポイント設定 (再計算)
   • より多くのチェックポイントをディスクに保存する
7. A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
   • No; it releases unused cached memory rather than live tensor storage
   • Yes; it deletes every referenced tensor
   • Yes; it moves the tensor automatically to NVMe
   • Only if the tensor contains zero values
8. PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
   • Reserved memory measures only CPU RAM
   • Allocated memory includes every process on the GPU
   • The difference directly proves a model accuracy error
   • The allocator can retain cached blocks beyond memory currently used by tensors