การทำนายโทเค็นถัดไป

Repeated billions of times, this single task produces models that write, reason, and converse.

การทำนายโทเค็นถัดไปจะฝึกโมเดลเพื่อกำหนดความน่าจะเป็นให้กับโทเค็นถัดไปโดยพิจารณาจากโทเค็นก่อนหน้าทั้งหมด ขั้นแรกข้อความจะถูกแบ่งออกเป็นโทเค็น (ส่วนของคำย่อย) โดยโทเค็นไนเซอร์ เช่น การเข้ารหัสคู่ไบต์ หม้อแปลงไฟฟ้าที่ใช้ตัวถอดรหัสอย่างเดียวจะอ่านลำดับจากซ้ายไปขวา และส่งสัญญาณเอาท์พุตการแจกแจงความน่าจะเป็นไปยังคำศัพท์ทั้งหมดสำหรับตำแหน่งถัดไป ในระหว่างการฝึก โมเดลจะแสดงข้อความจำนวนมากและถูกลงโทษทุกครั้งที่กำหนดความน่าจะเป็นต่ำให้กับโทเค็นถัดไปจริง ในช่วงเวลาแห่งการสร้าง โมเดลจะสุ่มตัวอย่างหรือเลือกโทเค็นอย่างตะกละตะกลาม ผนวกเข้ากับมัน และทำซ้ำลูปนี้แบบถดถอยอัตโนมัติ วัตถุประสงค์ข้อนี้ขยายขนาดได้อย่างน่าทึ่ง: GPT-2, GPT-3 และผู้สืบทอดล้วนเรียนรู้ไวยากรณ์ ข้อเท็จจริง การแปล และการให้เหตุผลล้วนๆ โดยการทำนายโทเค็นถัดไปได้เป็นอย่างดี