Sıcaklık ve Numune Alma
Sıcaklık ve örnekleme, bir dil modelinin ifadelerinin ne kadar 'rastgele' veya 'güvenli' olduğunu kontrol eden kadranlardır.
Genel Bakış
They decide whether you get the same predictable answer every time or fresh, varied phrasing.
Derin Dalış
Her adımda, bir dil modeli doğrudan bir kelime çıktısı vermez; sözlüğündeki her simge için softmax'ın bir olasılık dağılımına dönüştürdüğü bir puan ('logit') üretir. Örnekleme, bu dağıtımdan bir sonraki tokenin nasıl seçildiğidir. Sıcaklık, seçim yapılmadan önce dağılımı yeniden şekillendirir: düşük sıcaklık, en iyi seçimlerin baskın olmasını sağlar, böylece çıktı odaklı ve tekrarlanabilir olur; yüksek sıcaklık onu düzleştirir ve daha fazla çeşitlilik (ve daha fazla hata) için beklenmedik jetonların kaymasına izin verir. Önce iki popüler filtre havuzu daraltır. Top-k yalnızca en yüksek olasılıklı k jetonunu tutar. Top-p veya çekirdek örnekleme, olasılıkları toplamı p'ye (örneğin 0,9) eşit olan en küçük jeton setini tutar, böylece model emin olmadığında havuz büyür ve kendinden emin olduğunda havuz küçülür. Bu ayarlar birlikte, güvenilirliği yaratıcılığa karşı dengeler.
Teknik Bilgi
Sıcaklık, softmax'tan önce her logiti T'ye bölerek çalışır: olasılık exp(logit / T) ile orantılıdır. 1'in altındaki T, boşlukları keskinleştirir ve böylece en üstteki token hakim olur; 1'in üzerindeki T boşlukları daraltır ve dağılımı düzleştirir. T 0'a yakın olduğunda model etkin bir şekilde açgözlü hale gelir ve her zaman en olası tek jetonu alır. Top-k aday sayısını sabit bir sayıyla sınırlandırırken top-p kümülatif olasılık sınırını belirler, böylece aday sayısı modelin o adımda ne kadar emin olduğuna uyum sağlar.
Stratejik Etki
Speed and scale
Dil iş akışları tutarlılıktan ödün vermeden daha hızlı ilerleyebilir.
Access and reach
Diller ve iletişim tarzları arasında erişimi genişletir.
Daha net kararlar
Otomasyon tekrarlamayı yönetirken ekipler karar vermeye daha fazla zaman ayırabilir.
Sıcaklık ve Örneklemenin Geleceği
Bu kontroller kararlıdır ve iyi anlaşılmıştır, dolayısıyla eylem daha akıllı varsayılanlarda ve daha yeni değişkenlerde gerçekleştirilir. Min-p (kesmeyi en üst tokenin olasılığına göre ölçeklendiren) ve nesil ortasında değişen dinamik sıcaklık gibi daha uyarlanabilir şemalar bekleyebilirsiniz. Araçlar, görev başına ayarları giderek daha fazla otomatik olarak seçecek (kod ve çıkarma için düşük, beyin fırtınası için daha yüksek), böylece kullanıcılar elle ayarlama yapmak zorunda kalmayacak. Temel fikir kalıcıdır: örnekleme, deterministik kesinlik ile yaratıcı çeşitlilik arasındaki basit, güçlü düğmedir.
Gerçek Dünya Uygulaması
Her seferinde aynı doğru cevabı istediğinizde, kod oluşturma veya veri çıkarma için sıcaklığı 0'a yakın ayarlama
Çeşitli seçenekler elde etmek amacıyla isimler, sloganlar veya hikaye fikirleri üzerine beyin fırtınası yapmak için sıcaklığı 0,8-1,0 civarına yükseltmek
Modelin yalnızca en makul sözcüklerden örnekler alması ve tuhaf belirteçlerden kaçınması için top-p'yi 0,9 civarında kullanmak
Adayları sınırlamak için üst k'yi uygulamak ve nadir, konu dışı kelimelerin müşteriye yönelik bir yanıtta görünmesini önlemek
Riskler ve Korkuluklar
Halüsinasyonlu gerçekler sessizce raporlara, destek akışlarına veya araştırma çıktılarına girebilir.
İstem hassasiyeti, benzer istekler arasında tutarsız sonuçlar yaratabilir.
Erişim kontrolleri zayıfsa hassas metin verileri açığa çıkabilir.
Uygulama Yol Haritası
Kullanıma sunmadan önce çıktı formatını, tonunu ve kalite standartlarını tanımlayın.
Doğruluğun önemli olduğu durumlarda güvenilir kaynaklarla zemin müdahaleleri.
Yüksek riskli çıktılar için insan incelemesi kontrol noktası bulundurun.
Arıza modellerini takip edin ve istemleri veya iş akışlarını düzenli olarak yeniden eğitin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Temperature and Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Nucleus ve Top-k Örnekleme
Sık sorulan sorular
What is Temperature and Sampling?
Sıcaklık ve örnekleme, bir dil modelinin ifadelerinin ne kadar 'rastgele' veya 'güvenli' olduğunu kontrol eden kadranlardır. Her seferinde aynı öngörülebilir yanıtı mı yoksa yeni, çeşitli ifadeleri mi alacağınıza onlar karar verir.
Sıcaklığın yükseltilmesi modelin çıktısına ne yapar?
Daha yüksek sıcaklık olasılık dağılımını düzleştirir, böylece daha az olası tokenlar daha sık toplanır ve daha çeşitli (ve daha riskli) çıktılar üretilir.
Üst-p (çekirdek) örneklemenin üst-k örneklemeden farkı nedir?
Top-p, aday kümesini kümülatif olasılığa göre uyarlarken, top-k her zaman sabit sayıda üst tokenı tutar.
Mekanik olarak sıcaklık logitlere gerçekte ne yapar?
Sıcaklık, her logit'i softmax'tan önce T'ye böler; 1'in altındaki T dağılımı keskinleştirir, 1'in üzerindeki T ise düzleştirir.
Kod oluşturmak veya yapılandırılmış verileri çıkarmak için genellikle en iyi ayar hangisidir?
Doğruluk ve tekrarlanabilirlik gerektiren görevlerde çok düşük sıcaklık kullanılır, böylece model en olası, doğru belirteçleri güvenilir bir şekilde seçer.
Etkili bir şekilde 0 sıcaklıkta ne olur?
Sıfıra yakın sıcaklıkta, dağılım o kadar keskin ki her zaman en yüksek olasılığa sahip token seçiliyor; yani açgözlü kod çözme.