การถอดรหัสความสม่ำเสมอในตนเอง

It matters because a single greedy answer can be wrong, while the consensus across diverse attempts is far more often correct.

เปิดตัวโดยนักวิจัย Google ในปี 2022 ความสม่ำเสมอในตนเองมาแทนที่การถอดรหัสแบบ 'โลภ' ตามปกติ โดยที่แบบจำลองจะยอมรับโทเค็นถัดไปที่น่าจะเป็นไปได้มากที่สุดในแต่ละขั้นตอน ด้วยแนวทางการสุ่มตัวอย่างและการโหวต แนวคิดนี้สร้างขึ้นจากการกระตุ้นแบบลูกโซ่แห่งความคิด: แบบจำลองจะถูกขอให้ให้เหตุผลทีละขั้นตอน แต่แทนที่จะสร้างห่วงโซ่เดียว โมเดลจะสุ่มตัวอย่างโซ่ที่หลากหลายจำนวนมากโดยใช้อุณหภูมิที่ไม่ใช่ศูนย์ แต่ละห่วงโซ่อาจใช้เส้นทางที่แตกต่างกัน แต่การให้เหตุผลที่ถูกต้องมีแนวโน้มที่จะมาบรรจบกันในคำตอบสุดท้ายเดียวกัน ในขณะที่ข้อผิดพลาดกระจัดกระจายไปในทิศทางที่ต่างกัน จากนั้นระบบจะใช้เสียงข้างมากเหนือคำตอบสุดท้าย การเปลี่ยนแปลงง่ายๆ นี้ทำให้ได้ประโยชน์อย่างมากจากเกณฑ์มาตรฐานทางคณิตศาสตร์และการใช้เหตุผลทั่วไป เช่น GSM8K ซึ่งมักจะเพิ่มการปรับปรุงความแม่นยำเป็นเลขสองหลักโดยไม่ต้องมีการฝึกอบรมใหม่