Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Pembangunan Didorong Eval

Gunakan kes perwakilan, garis dasar, analisis kegagalan, ujian regresi dan gesaan versi untuk membimbing perubahan pada aplikasi LLM.

Laluan panduan yang berkaitanPembangunan Didorong Eval
soalan 1 daripada 8

Apakah amalan perisian yang mantap yang dipinjam oleh pembangunan dipacu eval strukturnya?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah amalan perisian yang mantap yang dipinjam oleh pembangunan dipacu eval strukturnya?
    • Pembangunan dipacu ujian, di mana ujian ditulis sebelum kod yang memenuhinya
    • Pengurusan projek air terjun
    • Standup harian yang tangkas
    • Corak reka bentuk berorientasikan objek
  2. Mengapa penyelaman mendalam mengatakan perubahan segera boleh berisiko tanpa suite eval?
    • Kerana perubahan segera sentiasa lebih mahal dalam yuran API
    • Kerana perkataan semula satu arahan untuk membetulkan satu kegagalan boleh memecahkan yang berbeza secara senyap, dan ini mungkin tidak muncul sehingga pengeluaran
    • Kerana gesaan tidak boleh dikawal versi
    • Kerana model mengabaikan perubahan segera sepenuhnya
  3. Dalam contoh suis model, apakah yang didedahkan oleh suite eval tentang model yang lebih baharu dan lebih pantas?
    • Ia lebih murah tetapi mempunyai kependaman yang lebih teruk
    • Ia gagal untuk berjalan sama sekali
    • Ia mendapat markah yang lebih rendah pada ketepatan fakta untuk dokumen kewangan walaupun lebih pantas
    • Ia memerlukan bahasa pengaturcaraan yang berbeza
  4. Bagaimanakah pasukan harus menangani kegagalan dunia sebenar yang disahkan dalam suite penilaiannya?
    • Simpan setiap output yang dilaporkan selama-lamanya tanpa semakan
    • Tambahkan hanya kegagalan yang mudah untuk diautomatikkan
    • Padamkan kes selepas satu larian lulus
    • Tambahkan kes yang boleh diterbitkan semula apabila ia mencerminkan tingkah laku yang dimaksudkan dan semak semula atau berhentikan kes tersebut jika keperluan berubah
  5. Mengapakah kadar lulus agregat boleh mengelirukan apabila membandingkan garis dasar dan gesaan calon?
    • Ia boleh menyembunyikan kes tertentu di mana calon menjadi lebih teruk walaupun skor keseluruhan bertambah baik
    • Nombor agregat sentiasa dikira secara salah oleh alat eval
    • Markah agregat tidak boleh dikira untuk output LLM
    • Kerana hanya model hakim yang menghasilkan skor agregat
  6. Adakah pembangunan dipacu eval memerlukan suite ujian yang besar sebelum prototaip boleh dinilai?
    • Ya; setiap input yang mungkin mesti disenaraikan
    • Tidak; mulakan dengan satu set kecil kes perwakilan penting dan kembangkannya apabila bukti terkumpul
    • Ya, tetapi hanya untuk model dengan alatan
    • Tidak; tunjuk cara manual menggantikan semua pemeriksaan berulang
  7. Mengikut cerapan teknikal, apakah tiga perkara yang biasanya dipisahkan oleh aliran kerja dipacu eval yang berfungsi?
    • Pembekal model, kunci API dan akaun pengebilan
    • Lapisan frontend, backend dan pangkalan data
    • Kes ujian, kaedah pemarkahan, dan laporan perbandingan antara garis dasar dan calon
    • Bahasa segera, saiz model dan tetapan suhu
  8. Mengapakah gesaan mengawal versi dan suite eval bersama-sama membantu pasukan menyiasat regresi?
    • Ia mengurangkan kos penyimpanan awan
    • Kerana sistem kawalan versi memerlukannya untuk gesaan secara khusus
    • Kerana ia menjadikan gesaan berjalan lebih pantas pada masa inferens
    • Ia boleh memautkan gesaan yang diubah kepada hasil eval yang sepadan dalam sejarah versi