อุณหภูมิและการสุ่มตัวอย่าง

They decide whether you get the same predictable answer every time or fresh, varied phrasing.

ในแต่ละขั้นตอน โมเดลภาษาจะไม่ส่งออกคำโดยตรง แต่จะสร้างคะแนน ('บันทึก') สำหรับทุกโทเค็นในคำศัพท์ ซึ่ง softmax จะกลายเป็นการแจกแจงความน่าจะเป็น การสุ่มตัวอย่างคือวิธีการเลือกโทเค็นถัดไปจากการแจกจ่ายนั้น อุณหภูมิจะกำหนดรูปแบบการกระจายใหม่ก่อนที่จะเลือก: อุณหภูมิต่ำทำให้ตัวเลือกอันดับต้นๆ มีอิทธิพลเหนือ ดังนั้นเอาต์พุตจึงเน้นและทำซ้ำได้ อุณหภูมิสูงจะแบนราบลง ปล่อยให้โทเค็นที่ไม่น่าเป็นไปได้เข้ามาเพื่อความหลากหลายมากขึ้น (และข้อผิดพลาดมากขึ้น) ตัวกรองยอดนิยมสองตัวทำให้กลุ่มแคบลงก่อน Top-k เก็บเฉพาะโทเค็นความน่าจะเป็นสูงสุด k เท่านั้น Top-p หรือการสุ่มตัวอย่างนิวเคลียส จะเก็บชุดโทเค็นที่เล็กที่สุดซึ่งความน่าจะเป็นรวมกันเป็น p (เช่น 0.9) ดังนั้นพูลจะขยายเมื่อโมเดลไม่แน่ใจและย่อลงเมื่อมั่นใจ การตั้งค่าเหล่านี้ร่วมกันจะแลกความน่าเชื่อถือกับความคิดสร้างสรรค์