Suhu dan Pengambilan Sampel
Suhu dan pengambilan sampel adalah tombol yang mengontrol seberapa 'acak' atau 'aman' susunan kata model bahasa.
Ikhtisar
They decide whether you get the same predictable answer every time or fresh, varied phrasing.
Menyelam Lebih Dalam
Pada setiap langkah, model bahasa tidak mengeluarkan kata secara langsung — model bahasa menghasilkan skor ('logit') untuk setiap token dalam kosakatanya, yang kemudian diubah softmax menjadi distribusi probabilitas. Pengambilan sampel adalah bagaimana token berikutnya dipilih dari distribusi tersebut. Suhu membentuk kembali distribusi sebelum memilih: suhu rendah membuat pilihan teratas mendominasi, sehingga keluaran terfokus dan dapat diulang; suhu tinggi meratakannya, membiarkan token yang tidak terduga masuk untuk mendapatkan lebih banyak variasi (dan lebih banyak kesalahan). Dua filter populer mempersempit kelompok terlebih dahulu. Top-k hanya menyimpan k token dengan probabilitas tertinggi. Top-p, atau pengambilan sampel inti, mempertahankan kumpulan token terkecil yang probabilitasnya berjumlah p (katakanlah 0,9), sehingga kumpulan bertambah ketika model tidak yakin dan menyusut ketika model yakin. Secara keseluruhan, pengaturan ini mengorbankan keandalan dan kreativitas.
Wawasan Teknis
Temperatur bekerja dengan membagi setiap logit dengan T sebelum softmax: probabilitas sebanding dengan exp(logit / T). T di bawah 1 mempertajam kesenjangan sehingga token teratas mendominasi; T di atas 1 memperkecil kesenjangan dan meratakan distribusi. Pada T mendekati 0 model menjadi serakah, selalu mengambil satu-satunya token yang paling mungkin. Top-k membatasi jumlah kandidat pada jumlah yang tetap, sementara top-p menetapkan batas probabilitas kumulatif, sehingga jumlah kandidatnya menyesuaikan dengan seberapa yakin model pada langkah tersebut.
Dampak Strategis
Kecepatan dan skala
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
Access and reach
Ini memperluas akses lintas bahasa dan gaya komunikasi.
Clearer decisions
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Masa Depan Suhu dan Pengambilan Sampel
Kontrol ini stabil dan dipahami dengan baik, sehingga tindakannya menggunakan default yang lebih cerdas dan varian yang lebih baru. Harapkan skema yang lebih adaptif seperti min-p (yang menskalakan batas ke probabilitas token teratas) dan suhu dinamis yang berubah pada pertengahan generasi. Peralatan akan semakin memilih pengaturan per tugas secara otomatis — rendah untuk kode dan ekstraksi, lebih tinggi untuk brainstorming — sehingga pengguna tidak perlu melakukan penyesuaian secara manual. Ide intinya tetap bertahan: pengambilan sampel adalah tombol sederhana dan kuat antara presisi deterministik dan variasi kreatif.
Implementasi Dunia Nyata
Menyetel suhu mendekati 0 untuk pembuatan kode atau ekstraksi data, di mana Anda menginginkan jawaban benar yang sama setiap saat
Menaikkan suhu menjadi sekitar 0,8-1,0 untuk bertukar pikiran tentang nama, slogan, atau ide cerita untuk mendapatkan beragam pilihan
Menggunakan top-p sekitar 0,9 sehingga model mengambil sampel hanya dari kata-kata yang paling masuk akal dan menghindari token yang aneh
Menerapkan top-k untuk membatasi kandidat dan mencegah kata-kata langka dan di luar topik muncul dalam balasan yang ditujukan kepada pelanggan
Risiko & Pagar Pembatas
Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Peta Jalan Implementasi
Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Temperature and Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Pengambilan Sampel Inti dan Top-k
Pertanyaan yang sering diajukan
What is Temperature and Sampling?
Suhu dan pengambilan sampel adalah tombol yang mengontrol seberapa 'acak' atau 'aman' susunan kata model bahasa. Mereka memutuskan apakah Anda mendapatkan jawaban yang sama dan dapat diprediksi setiap saat atau ungkapan yang segar dan bervariasi.
Apa pengaruh kenaikan suhu terhadap keluaran model?
Temperatur yang lebih tinggi meratakan distribusi probabilitas, sehingga token yang kecil kemungkinannya akan dipilih lebih sering, sehingga menghasilkan keluaran yang lebih bervariasi (dan lebih berisiko).
Apa perbedaan pengambilan sampel top-p (inti) dengan pengambilan sampel top-k?
Top-p mengadaptasi kumpulan kandidat berdasarkan probabilitas kumulatif, sedangkan top-k selalu menyimpan sejumlah token teratas.
Secara mekanis, apa sebenarnya pengaruh suhu terhadap logit?
Suhu membagi setiap logit dengan T sebelum softmax; T di bawah 1 mempertajam distribusi, T di atas 1 meratakannya.
Untuk membuat kode atau mengekstrak data terstruktur, pengaturan manakah yang biasanya terbaik?
Tugas yang membutuhkan ketepatan dan pengulangan menggunakan suhu yang sangat rendah sehingga model dapat memilih token yang paling mungkin dan benar dengan andal.
Apa yang terjadi pada suhu efektif 0?
Mendekati suhu nol, distribusinya sangat tajam sehingga token dengan probabilitas tertinggi selalu dipilih — penguraian kode yang serakah.