Kuiz berkaitan panduan · Keras Tahap

Hugging Face Mempercepatkan Kuiz Latihan Berbilang GPU

Alihkan skrip PyTorch merentas peranti dengan Accelerate sambil menyemak serpihan data, pengurangan metrik, ketepatan campuran dan keselamatan pusat pemeriksaan.

Laluan panduan yang berkaitanHugging Face Mempercepatkan Berbilang GPU
soalan 1 daripada 8

Apakah Accelerate membantu skrip latihan PyTorch lakukan secara utama?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah Accelerate membantu skrip latihan PyTorch lakukan secara utama?
    • Mendefinisikan seni bina model untuk tugas
    • Memilih fungsi objektif daripada label
    • Jalankan pada perkakasan yang disokong dan konfigurasi teragih dengan kod yang dikongsi
    • Menjana data penilaian daripada contoh latihan
  2. Mengapa menghantar objek latihan umum melalui persiapan Accelerator?
    • Menyesuaikan kadar pembelajaran pengoptimum secara automatik
    • Untuk menyiapkannya bagi peranti dan strategi yang dikonfigurasi
    • Memilih titik semak daripada metrik validasi
    • Menulis semula objektif latihan model
  3. Apa yang boleh terjadi jika pekerja tidak mengambil bahagian secara konsisten dalam kolektif teragih?
    • Kehilangan menjadi kebarangkalian yang dikalibrasi
    • Proses selalu keluar dengan bersih selepas satu pangkat berhenti
    • Komunikasi teragih tidak lagi berlaku
    • Jalankan boleh tergantung sementara proses menunggu antara satu sama lain
  4. Mengapa metrik penilaian tempatan mungkin memerlukan pengurangan merentasi proses?
    • Setiap proses mungkin hanya melihat sebahagian data penilaian
    • Setiap proses secara automatik mempunyai metrik yang dikurangkan secara global
    • Nilai metrik disimpan secara langsung dalam berat model
    • Pengurangan menukar label kepada indeks teragih
  5. Apakah yang harus disahkan mengenai saiz batch apabila berpindah dari satu GPU ke beberapa?
    • Anggap ia tetap sama dengan batch GPU tunggal dalam setiap penyetelan
    • Tentukan sama ada saiz yang dikonfigurasi per proses atau global
    • Anggap persiapan selalu menjadikan saiz batch sama dengan jumlah label
    • Anggap saiz batch sebagai bilangan GPU
  6. Mengapa perlu mengawal penulisan checkpoint bersama dalam kerja multi-proses?
    • Hindari pekerja melatih pada masa yang sama
    • Elakkan pekerja bersamaan bersaing menulis ke laluan bersama yang sama
    • Pastikan setiap rank membaca label yang berbeza
    • Selari gradien sebelum checkpoint ditulis
  7. Adakah penggunaan beberapa GPU menjamin peningkatan kelajuan yang sepadan?
    • Peningkatan kelajuan mesti sama dengan bilangan GPU jika skrip tidak berubah
    • Saiz model adalah satu-satunya faktor yang menentukan skala
    • Pergerakan data dan penyelarasan boleh mengehadkan peningkatan kelajuan yang diukur
    • Latihan paralel tidak dapat dijalankan pada pelbagai peranti
  8. Pengesahan mana yang memeriksa artefak multi-peranti yang disimpan untuk penggunaan praktikal?
    • Muatnya dalam persekitaran inferens yang dimaksudkan
    • Pastikan ia hanya boleh diakses di dalam proses pekerja
    • Anggap ia mengandungi set data penuh
    • Langkau pengesahan kerana kerja selesai