SeterusnyaPanduan seterusnya
Signifikan Statistik dalam Penilaian LLM
Teknikal
PANDUAN Teknikal
Logprob token menyatakan kebarangkalian bersyarat model untuk token dalam urutan terjananya; ia adalah sifat pilihan token, bukan secara automatik kebarangkalian yang ditentukur bahawa jawapan penuh adalah betul.
Dengar panduan iniAI-diceritakan · ~3 min
Logprob boleh menyumbang kepada anggaran keyakinan khusus tugas apabila disahkan terhadap hasil berlabel.
Kebarangkalian log ialah logaritma kebarangkalian. Dalam penjanaan, logprob token menerangkan kemungkinan model memberikan token seterusnya tertentu berdasarkan konteks dan keadaan model sebelumnya. Sesetengah API boleh mengembalikan logprob untuk token yang dijana dan, dalam beberapa titik akhir, alternatif antara token yang paling berkemungkinan. Ketersediaan dan had bergantung pada pembekal, titik akhir dan model. Nilai ini boleh membantu memeriksa kekaburan atau membandingkan label calon dalam tugas pengelasan terhad. Tetapi jawapan bahasa semula jadi terdiri daripada berbilang token, dan tokenisasi, panjang jawapan, perkataan, dan reka bentuk segera mempengaruhi skor urutan. Kebarangkalian yang tinggi untuk setiap token tidak bermakna jawapannya betul secara fakta; model dengan yakin boleh menjana sambungan biasa tetapi palsu. Menjumlahkan atau membuat purata logprob token juga memerlukan normalisasi dan pengesahan yang teliti. Penentukuran keyakinan bertanya sama ada contoh yang diberikan tahap keyakinan adalah betul pada frekuensi yang sepadan. Untuk menggunakan logprob sebagai ciri keyakinan, tentukan hasil sasaran, kumpulkan contoh berlabel wakil, dapatkan skor dan nilaikan penentukuran dan pengesanan ralat pada data yang ditahan. Langkah-langkah yang mungkin termasuk gambar rajah kebolehpercayaan, skor Brier, ralat penentukuran yang dijangka dan risiko terpilih pada ambang pantang yang dipilih. Penyelidikan tentang penentukuran model bahasa mendapati bahawa kebarangkalian token dan keyakinan lisan boleh berkelakuan berbeza merentas keluarga model dan tugasan. Anggap logprob sebagai satu isyarat, bukan meter kebenaran tahap jawapan. Gunakan semakan manusia atau sandaran untuk keputusan berimpak tinggi dan semak sama ada API yang diperlukan sebenarnya mendedahkan prob log untuk model yang dipilih.
Pengklasifikasi membandingkan logprob untuk set tetap label yang saling eksklusif, kemudian menyesuaikan skor pada data berlabel.
Seorang pembangun memeriksa alternatif token untuk memahami sama ada jawapan terhad itu ambigu.
Sebuah pasukan memeriksa skor Brier dan ralat kalibrasi jangkaan pada set validasi yang dipisahkan.
Alur kerja berimpak tinggi mengarahkan kes berkeyakinan rendah ke semakan manusia daripada menerima skor token sebagai kebenaran.
Penyedia mungkin mendedahkan isyarat peringkat token yang lebih kaya, sementara penyelidikan terus mengkaji keyakinan semantik dan kalibrasi merentasi tugas. Sistem keyakinan yang lebih baik akan menggabungkan kebarangkalian dengan konteks tugas, bukti luaran, dan data kalibrasi yang dipisahkan. Logprob token akan tetap paling berguna apabila ruang output terhad dan hasil boleh dilabelkan. Aplikasi masa depan harus melaporkan kadar ralat dan drift kalibrasi daripada menunjukkan nombor keyakinan yang tidak disahkan kepada pengguna. Kaedah kalibrasi akan memerlukan kemas kini apabila model, prompt, atau populasi input berubah.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Logprob token menyatakan kebarangkalian bersyarat model untuk token dalam urutan terjananya; ia adalah sifat pilihan token, bukan secara automatik kebarangkalian yang ditentukur bahawa jawapan penuh adalah betul. Logprob boleh menyumbang kepada anggaran keyakinan khusus tugas apabila disahkan terhadap hasil berlabel.
Kebarangkalian token dan ketepatan fakta adalah kuantiti yang berbeza.
Penggabungan urutan bergantung pada cara teks ditokenkan dan disusun.
Kalibrasi memerlukan perbandingan antara keyakinan yang diramalkan dan hasil empirik.
Kalibrasi membandingkan tahap keyakinan yang dinyatakan dengan ketepatan yang diperhatikan.
Ruang output terhad boleh menjadikan pembinaan skor lebih boleh difahami, walaupun validasi masih diperlukan.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Signifikan Statistik dalam Penilaian LLM
Teknikal