Kuiz berkaitan panduan · Sederhana Tahap
Kuiz Pembangunan Didorong Eval
Gunakan kes perwakilan, garis dasar, analisis kegagalan, ujian regresi dan gesaan versi untuk membimbing perubahan pada aplikasi LLM.
soalan 1 daripada 8
Apakah amalan perisian yang mantap yang dipinjam oleh pembangunan dipacu eval strukturnya?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Apakah amalan perisian yang mantap yang dipinjam oleh pembangunan dipacu eval strukturnya?
- Pembangunan dipacu ujian, di mana ujian ditulis sebelum kod yang memenuhinya
- Pengurusan projek air terjun
- Standup harian yang tangkas
- Corak reka bentuk berorientasikan objek
- Mengapa penyelaman mendalam mengatakan perubahan segera boleh berisiko tanpa suite eval?
- Kerana perubahan segera sentiasa lebih mahal dalam yuran API
- Kerana perkataan semula satu arahan untuk membetulkan satu kegagalan boleh memecahkan yang berbeza secara senyap, dan ini mungkin tidak muncul sehingga pengeluaran
- Kerana gesaan tidak boleh dikawal versi
- Kerana model mengabaikan perubahan segera sepenuhnya
- Dalam contoh suis model, apakah yang didedahkan oleh suite eval tentang model yang lebih baharu dan lebih pantas?
- Ia lebih murah tetapi mempunyai kependaman yang lebih teruk
- Ia gagal untuk berjalan sama sekali
- Ia mendapat markah yang lebih rendah pada ketepatan fakta untuk dokumen kewangan walaupun lebih pantas
- Ia memerlukan bahasa pengaturcaraan yang berbeza
- Bagaimanakah pasukan harus menangani kegagalan dunia sebenar yang disahkan dalam suite penilaiannya?
- Simpan setiap output yang dilaporkan selama-lamanya tanpa semakan
- Tambahkan hanya kegagalan yang mudah untuk diautomatikkan
- Padamkan kes selepas satu larian lulus
- Tambahkan kes yang boleh diterbitkan semula apabila ia mencerminkan tingkah laku yang dimaksudkan dan semak semula atau berhentikan kes tersebut jika keperluan berubah
- Mengapakah kadar lulus agregat boleh mengelirukan apabila membandingkan garis dasar dan gesaan calon?
- Ia boleh menyembunyikan kes tertentu di mana calon menjadi lebih teruk walaupun skor keseluruhan bertambah baik
- Nombor agregat sentiasa dikira secara salah oleh alat eval
- Markah agregat tidak boleh dikira untuk output LLM
- Kerana hanya model hakim yang menghasilkan skor agregat
- Adakah pembangunan dipacu eval memerlukan suite ujian yang besar sebelum prototaip boleh dinilai?
- Ya; setiap input yang mungkin mesti disenaraikan
- Tidak; mulakan dengan satu set kecil kes perwakilan penting dan kembangkannya apabila bukti terkumpul
- Ya, tetapi hanya untuk model dengan alatan
- Tidak; tunjuk cara manual menggantikan semua pemeriksaan berulang
- Mengikut cerapan teknikal, apakah tiga perkara yang biasanya dipisahkan oleh aliran kerja dipacu eval yang berfungsi?
- Pembekal model, kunci API dan akaun pengebilan
- Lapisan frontend, backend dan pangkalan data
- Kes ujian, kaedah pemarkahan, dan laporan perbandingan antara garis dasar dan calon
- Bahasa segera, saiz model dan tetapan suhu
- Mengapakah gesaan mengawal versi dan suite eval bersama-sama membantu pasukan menyiasat regresi?
- Ia mengurangkan kos penyimpanan awan
- Kerana sistem kawalan versi memerlukannya untuk gesaan secara khusus
- Kerana ia menjadikan gesaan berjalan lebih pantas pada masa inferens
- Ia boleh memautkan gesaan yang diubah kepada hasil eval yang sepadan dalam sejarah versi