درجة الحرارة وأخذ العينات

They decide whether you get the same predictable answer every time or fresh, varied phrasing.

في كل خطوة، لا يقوم نموذج اللغة بإخراج كلمة مباشرة، بل ينتج درجة ('logit') لكل رمز مميز في مفرداته، والتي تحولها softmax إلى توزيع احتمالي. أخذ العينات هو كيفية اختيار الرمز المميز التالي من هذا التوزيع. تعيد درجة الحرارة تشكيل التوزيع قبل الاختيار: درجة الحرارة المنخفضة تجعل الاختيارات العليا هي المهيمنة، لذلك يكون الناتج مركزًا وقابلًا للتكرار؛ تؤدي درجة الحرارة المرتفعة إلى تسطيحها، مما يسمح للرموز المميزة غير المحتملة بالانزلاق لمزيد من التنوع (والمزيد من الأخطاء). يقوم مرشحان شائعان بتضييق نطاق حمام السباحة أولاً. يحتفظ Top-k فقط بالرموز المميزة ذات الاحتمالية الأعلى. يحتفظ Top-p، أو أخذ العينات النواة، بأصغر مجموعة من الرموز المميزة التي يصل مجموع احتمالاتها إلى p (على سبيل المثال 0.9)، لذلك ينمو المجمع عندما يكون النموذج غير متأكد ويتقلص عندما يكون واثقًا. تعمل هذه الإعدادات معًا على مقايضة الموثوقية بالإبداع.