温度とサンプリング
温度とサンプリングは、言語モデルの表現がどの程度「ランダム」か「安全」かを制御するダイヤルです。
概要
They decide whether you get the same predictable answer every time or fresh, varied phrasing.
ディープダイブ
各ステップで、言語モデルは単語を直接出力しません。語彙内のすべてのトークンに対してスコア (「ロジット」) を生成し、ソフトマックスによって確率分布に変換されます。サンプリングは、その分布から次のトークンを選択する方法です。温度は、選択する前に分布を再形成します。温度が低いと、上位の選択肢が優勢になるため、出力が集中し、再現可能になります。高温により平坦化され、可能性の低いトークンが滑り込み、多様性が増します (そしてエラーが増加します)。 2 つの一般的なフィルターが最初にプールを絞り込みます。 Top-k は、確率が最も高い k 個のトークンのみを保持します。 Top-p (核サンプリング) では、確率の合計が p (たとえば 0.9) になる最小のトークンのセットが保持されるため、モデルが不確実な場合はプールが拡大し、モデルに自信がある場合は縮小します。これらの設定を組み合わせると、信頼性と創造性がトレードオフになります。
技術的な洞察
温度は、ソフトマックスの前に各ロジットを T で割ることによって機能します。確率は exp(logit / T) に比例します。 1 未満の T はギャップをシャープにし、上部のトークンが優勢になります。 T が 1 を超えると、ギャップが縮小し、分布が平坦になります。 T が 0 に近い場合、モデルは実質的に貪欲になり、常に最も可能性の高い単一のトークンを取得します。 Top-k は候補数を固定数に制限しますが、top-p は累積確率のカットオフを設定するため、候補数はそのステップでのモデルの信頼度に適応します。
戦略的影響
速度とスケール
言語ワークフローは、一貫性を犠牲にすることなく、より高速に移行できます。
アクセスと到達範囲
言語やコミュニケーション スタイルを超えてアクセスが拡張されます。
より明確な判決
自動化が繰り返しを処理する間、チームは判断により多くの時間を費やすことができます。
温度とサンプリングの未来
これらのコントロールは安定していてよく理解されているため、アクションはよりスマートなデフォルトと新しいバリアントで行われます。 min-p (カットオフを上位トークンの確率に合わせて調整する) や世代途中で変化する動的な温度など、より適応性のあるスキームが期待されます。ツールはタスクごとに設定を自動的に選択するようになり、コードと抽出の場合は低く、ブレインストーミングの場合は高くなります。そのため、ユーザーは手動で調整する必要がなくなります。中心となるアイデアは変わりません。サンプリングは、決定的な精度と創造的な多様性の間のシンプルかつ強力なノブです。
現実世界の実装
毎回同じ正解が必要なコード生成またはデータ抽出のために温度を 0 近くに設定する
温度を約 0.8 ～ 1.0 に上げて、名前、スローガン、またはストーリーのアイデアをブレインストーミングし、さまざまなオプションを得る
モデルが最も妥当な単語のみをサンプリングし、奇妙なトークンを回避できるように、top-p を 0.9 付近で使用します。
top-k を適用して候補を制限し、顧客向けの返信にまれに主題から外れた単語が表示されるのを防ぎます
リスクとガードレール
幻覚のような事実が、レポート、サポート フロー、または研究結果に静かに組み込まれる可能性があります。
迅速な対応により、同様のリクエスト間で一貫性のない結果が生じる可能性があります。
アクセス制御が弱いと、機密テキスト データが漏洩する可能性があります。
実装ロードマップ
展開する前に、出力形式、トーン、品質基準を定義します。
正確さが重要な場合は常に、信頼できる情報源を使って地上対応を行ってください。
一か八かの成果物については人間によるレビュー チェックポイントを維持します。
失敗パターンを追跡し、プロンプトやワークフローを定期的に再トレーニングします。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Temperature and Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
Nucleus および Top-k サンプリング
よくある質問
What is Temperature and Sampling?
温度とサンプリングは、言語モデルの表現がどの程度「ランダム」か「安全」かを制御するダイヤルです。毎回同じ予測可能な答えが得られるか、新鮮で変化に富んだ言い回しが得られるかは、彼らによって決まります。
温度を上げるとモデルの出力に何が影響しますか?
温度が高くなると確率分布が平坦になるため、可能性の低いトークンがより頻繁に選択され、より多様な (そしてよりリスクの高い) 出力が生成されます。
top-p (核) サンプリングは、top-k サンプリングとどのように異なりますか?
Top-p は累積確率によって候補セットを適応させますが、top-k は常に固定数の上位トークンを保持します。
機械的に、温度はロジットに実際にどのような影響を与えるのでしょうか?
温度はソフトマックスの前に各ロジットを T で除算します。 1 未満の T は分布をシャープにし、1 を超える T は分布を平坦にします。
コードの生成または構造化データの抽出には、通常どの設定が最適ですか?
正確性と再現性が必要なタスクでは非常に低い温度が使用されるため、モデルは最も可能性の高い正しいトークンを確実に選択します。
温度が実質的に 0 度になると何が起こるでしょうか?
温度がゼロ付近では、分布が非常に急峻であるため、最も確率の高いトークンが常に選択されます (貪欲なデコード)。