Kuiz berkaitan panduan · Sederhana Tahap

Pralatihan Berterusan lwn Kuiz Penalaan Halus

Menguji data dan perbezaan objektif antara pralatihan berterusan dan penalaan halus, pelupaan dan main semula bencana, dan apabila pengambilan semula lebih sesuai.

Laluan panduan yang berkaitanPralatihan Berterusan Vs Penalaan Halus
soalan 1 daripada 8

Apakah perbezaan data utama antara pralatihan berterusan dan penalaan halus diselia?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah perbezaan data utama antara pralatihan berterusan dan penalaan halus diselia?
    • Kedua-duanya hanya menggunakan pasangan soalan dan jawapan yang berlabel
    • Pralatihan berterusan menggunakan teks domain mentah; penalaan halus menggunakan contoh berlabel yang dipilih susun
    • Penalaan halus menggunakan lebih banyak data daripada pralatihan berterusan
    • Pralatihan berterusan hanya menggunakan imej
  2. Dalam penalaan halus diselia, di manakah kerugian biasanya dikira?
    • Pada setiap token termasuk gesaan
    • Hanya pada token segera
    • Pada token yang dipilih secara rawak
    • Hanya pada token tindak balas
  3. Apakah main semula dalam pralatihan berterusan?
    • Mencampurkan beberapa data umum ke dalam latihan untuk mengehadkan lupa
    • Menjalankan kumpulan yang sama dua kali
    • Memulakan semula latihan dari awal
    • Memainkan semula perbualan pengguna pada masa inferens
  4. Bagaimanakah Kod Llama dibina?
    • Dari awal pada kod sahaja
    • Dengan kejuruteraan segera Llama 2
    • Dengan meneruskan latihan Llama 2 pada kod kod besar
    • Dengan memperhalusi beberapa ratus soalan pengekodan
  5. Untuk fakta yang sering berubah, pendekatan manakah yang dicadangkan oleh panduan itu selalunya lebih baik daripada penalaan halus?
    • Meneruskan pralatihan setiap hari
    • Mendapatkan semula dokumen terkini
    • Menaikkan suhu pensampelan
    • Melatih tokenizer yang lebih besar
  6. Pernyataan manakah tentang BloombergGPT yang betul mengikut panduan?
    • Pralatihan Llama 2 diteruskan
    • Ia dicipta hanya dengan LoRA
    • Ia adalah GPT-3 kejuruteraan segera
    • Ia dilatih dari awal mengenai data kewangan dan am
  7. Apakah yang ditunjukkan oleh kertas kerja 2020 Jangan Berhenti Pralatihan?
    • Fasa kedua pralatihan pada teks dalam domain menambah baik RoBERTa pada tugasan domain
    • Pralatihan hendaklah sentiasa berhenti selepas satu zaman
    • Penalaan halus tidak berguna untuk pengelasan
    • Teks domain membahayakan setiap model
  8. Mengapa memanaskan semula kadar pembelajaran pada permulaan pralatihan berterusan?
    • Untuk menetapkan semula tokenizer
    • Untuk membekukan pemberat asas
    • Menyambung semula pada kadar yang tinggi menjejaskan kestabilan latihan manakala kadar yang terlalu rendah tidak banyak belajar
    • Untuk melangkau keperluan untuk data domain