Kuiz berkaitan panduan · Keras Tahap
Menganggarkan Memori GPU Diperlukan untuk Kuiz LLM
Anggarkan memori LLM daripada pemberat, keadaan latihan, pengaktifan dan cache KV, dan kenal pasti cara konteks, kelompok dan ketepatan mengubah belanjawan.
soalan 1 daripada 8
Formula yang manakah memberikan anggaran urutan pertama bagi memori berat tersimpan?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Formula yang manakah memberikan anggaran urutan pertama bagi memori berat tersimpan?
- Bilangan lapisan didarab dengan panjang konteks sahaja
- Kiraan parameter tanpa mengambil kira ketepatan berangka
- Bilangan parameter didarab dengan bait setiap parameter
- Saiz kelompok didarab dengan perbendaharaan kata keluaran sahaja
- Mengapakah penalaan halus penuh biasanya memerlukan lebih banyak ingatan daripada inferens?
- Latihan mengelakkan memuatkan berat model
- Ia menyimpan kecerunan, keadaan pengoptimum, dan pengaktifan latihan
- Pengaktifan ke hadapan tidak diperlukan untuk pengiraan ke belakang
- Kecerunan dan keadaan pengoptimum tidak hadir semasa latihan
- Apakah yang diwakili oleh faktor dua dalam anggaran cache KV standard?
- Dua bait diandaikan setiap nilai cache walaupun ketepatan lain digunakan
- Salinan model hadapan dan belakang yang berasingan dicache
- Bilangan kepala KV digandakan untuk memasukkan kepala pertanyaan
- Tensor kunci dan nilai yang berasingan disimpan
- Pembolehubah manakah yang meningkatkan saiz cache KV standard?
- Saiz kelompok, token cache, kepala KV, dimensi kepala dan bait setiap nilai
- Hanya kiraan lapisan dalam konfigurasi model
- Kiraan parameter model dan bilangan contoh latihan
- Panjang konteks sahaja; saiz kelompok aktif tidak boleh menjejaskan memori cache
- Bagaimanakah perhatian pertanyaan berkumpulan boleh menjejaskan memori cache KV?
- Ia menggunakan lebih banyak kepala KV daripada kepala pertanyaan mengikut definisi
- Ia memerlukan semua nilai cache untuk menggunakan float32
- Ia boleh menggunakan lebih sedikit kepala nilai kunci daripada kepala pertanyaan
- Ia mengalih keluar cache KV daripada inferens autoregresif
- Mengapakah memori perlu diuji pada konteks maksimum dan konkurensi?
- Cache ditetapkan sebaik sahaja pemberat dimuatkan, tanpa mengira token aktif
- Keadaan cache dan masa jalan berkembang dengan token dan jujukan aktif
- Concurrency mengubah kualiti output tetapi bukan memori
- Fail berat ditulis semula untuk setiap permintaan serentak
- Pernyataan yang manakah mengenai anggaran memori pengoptimum adalah baik?
- Semua pengoptimum menggunakan saiz keadaan yang sama bagi setiap parameter
- Berat FP16 memerlukan setiap tensor pengoptimum untuk menggunakan FP16
- Memori latihan sama dengan saiz berat ditambah token input sahaja
- Bait setiap parameter bergantung pada pilihan pengoptimum dan ketepatan
- Apakah yang perlu mengikut anggaran memori GPU berasaskan formula?
- Ukur memori puncak dengan model sebenar, masa jalan dan beban kerja
- Andaikan semua memori peranti yang diiklankan boleh digunakan untuk pemberat
- Abaikan pengalokasi dan penimbal ruang kerja sementara
- Uji hanya gesaan kosong tanpa permintaan serentak