การตรวจสอบการสุ่มตัวอย่างแบบเก็งกำไร

The clever verification step guarantees the output matches what the big model would have produced on its own.

การสร้างแบบถดถอยอัตโนมัตินั้นช้าเนื่องจากแต่ละโทเค็นต้องการการส่งต่อแบบเต็มของโมเดลขนาดใหญ่ การสุ่มตัวอย่างแบบเก็งกำไรจะแก้ไขปัญหานี้โดยการจับคู่แบบจำลองแบบร่างราคาถูกกับแบบจำลองเป้าหมายที่มีราคาแพง ร่างเสนอโทเค็นระยะสั้น (เช่น 4-8) เป้าหมายจะทำคะแนนทั้งหมดในการส่งต่อแบบขนานครั้งเดียว กฎการสุ่มตัวอย่างการปฏิเสธที่ได้รับการแก้ไขจะยอมรับคำนำหน้าที่ยาวที่สุดซึ่งสอดคล้องกับการกระจายของเป้าหมายเอง และจะสุ่มตัวอย่างใหม่ในตำแหน่งแรกที่ถูกปฏิเสธ เนื่องจากการยอมรับนั้นมีความน่าจะเป็นและได้รับการแก้ไขแล้ว กระแสโทเค็นสุดท้ายจึงถูกกระจายอย่างพิสูจน์ได้เหมือนกับว่าเป้าหมายสร้างขึ้นเพียงลำพัง ไม่มีการสูญเสียคุณภาพ การเร่งความเร็วโดยทั่วไปคือ 2-3 เท่าเมื่อร่างรวดเร็วและสอดคล้องกัน เนื่องจากมีการยืนยันโทเค็นหลายรายการต่อการโทรที่มีราคาแพง