Teplota a odběr vzorků
Teplota a vzorkování jsou číselníky, které řídí, jak „náhodné“ nebo „bezpečné“ je znění jazykového modelu.
Přehled
They decide whether you get the same predictable answer every time or fresh, varied phrasing.
Hluboký ponor
V každém kroku jazykový model nevydává slovo přímo – vytváří skóre („logit“) pro každý token ve svém slovníku, který softmax promění v rozdělení pravděpodobnosti. Vzorkování je způsob výběru dalšího tokenu z této distribuce. Teplota přetváří distribuci před výběrem: nízká teplota dělá hlavní volby, takže výstup je soustředěný a opakovatelný; vysoká teplota jej zploští a nechá vklouznout nepravděpodobné žetony pro větší rozmanitost (a více chyb). Dva oblíbené filtry nejprve zužují bazén. Top-k si ponechává pouze k žetonů s nejvyšší pravděpodobností. Top-p neboli nucleus sampling uchovává nejmenší sadu tokenů, jejichž pravděpodobnost se rovná p (řekněme 0,9), takže fond roste, když si model není jistý, a zmenšuje se, když si je jistý. Tato nastavení společně vyvažují spolehlivost a kreativitu.
Technický přehled
Teplota funguje tak, že každý logit vydělíme T před softmax: pravděpodobnost je úměrná exp(logit / T). T pod 1 zostřuje mezery, takže dominuje horní žeton; T nad 1 zmenšuje mezery a zplošťuje rozložení. Při T blízko 0 se model stává efektivně chamtivým a vždy bere jediný nejpravděpodobnější žeton. Top-k omezuje počet kandidátů na pevné číslo, zatímco top-p nastavuje hranici kumulativní pravděpodobnosti, takže počet kandidátů se přizpůsobuje tomu, jak jistý je model v tomto kroku.
Strategický dopad
Rychlost a měřítko
Jazykové pracovní postupy se mohou pohybovat rychleji, aniž by byla obětována konzistentnost.
Přístup a dosah
Rozšiřuje přístup napříč jazyky a komunikačními styly.
Jasnější rozhodnutí
Týmy mohou strávit více času úsudkem, zatímco automatizace zvládne opakování.
Budoucnost teploty a odběru vzorků
Tyto ovládací prvky jsou stabilní a dobře srozumitelné, takže akce probíhá v chytřejších výchozích nastaveních a novějších variantách. Očekávejte adaptivnější schémata, jako je min-p (která přizpůsobuje hranici pravděpodobnosti horního tokenu) a dynamickou teplotu, která se mění ve střední generaci. Nástroje budou stále častěji automaticky vybírat nastavení pro každou úlohu – nízká pro kód a extrakci, vyšší pro brainstorming – takže uživatelé nebudou ladit ručně. Základní myšlenka přetrvává: samplování je jednoduchý, výkonný knoflík mezi deterministickou přesností a kreativní rozmanitostí.
Real-World Implementace
Nastavení teploty blízko 0 pro generování kódu nebo extrakci dat, kde chcete pokaždé stejnou správnou odpověď
Zvýšení teploty na přibližně 0,8–1,0 pro brainstorming názvů, sloganů nebo nápadů na příběhy, abyste získali různé možnosti
Použití top-p kolem 0,9, takže model vzorkuje pouze z nejvěrohodnějších slov a vyhýbá se bizarním tokenům
Použití top-k k omezení kandidátů a zabránění tomu, aby se v odpovědi na zákazníky objevila vzácná slova mimo téma
Rizika a zábradlí
Halucinovaná fakta mohou tiše vstupovat do zpráv, podpůrných toků nebo výstupů výzkumu.
Citlivost na výzvy může způsobit nekonzistentní výsledky napříč podobnými požadavky.
Citlivá textová data mohou být vystavena, pokud je řízení přístupu slabé.
Plán implementace
Před zavedením definujte výstupní formát, tón a standardy kvality.
Pozemní reakce s důvěryhodnými zdroji, kdykoli záleží na přesnosti.
Udržujte kontrolní bod lidské kontroly pro vysoce důležité výstupy.
Sledujte vzorce selhání a pravidelně opakujte výzvy nebo pracovní postupy.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Temperature and Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další průvodce
Vzorkování jádra a top-k
Často kladené otázky
What is Temperature and Sampling?
Teplota a vzorkování jsou číselníky, které řídí, jak „náhodné“ nebo „bezpečné“ je znění jazykového modelu. Rozhodují, zda pokaždé dostanete stejnou předvídatelnou odpověď, nebo čerstvé, rozmanité frázování.
Co udělá zvýšení teploty s výstupem modelu?
Vyšší teplota zplošťuje rozložení pravděpodobnosti, takže méně pravděpodobné tokeny se vybírají častěji, což vytváří rozmanitější (a riskantnější) výstup.
Jak se liší top-p (nucleus) vzorkování od top-k vzorkování?
Top-p přizpůsobí množinu kandidátů kumulativní pravděpodobností, zatímco top-k si vždy ponechává pevný počet top tokenů.
Mechanicky, co vlastně dělá teplota s logity?
Teplota dělí každý logit T před softmax; T pod 1 distribuci zostřuje, T nad 1 ji zplošťuje.
Které nastavení je obvykle nejlepší pro generování kódu nebo extrahování strukturovaných dat?
Úlohy vyžadující správnost a opakovatelnost využívají velmi nízkou teplotu, takže model spolehlivě vybírá nejpravděpodobnější správné tokeny.
Co se stane při teplotě efektivně 0?
V blízkosti nulové teploty je distribuce tak ostrá, že je vždy vybrán token s nejvyšší pravděpodobností – chamtivé dekódování.