การเรียนรู้ในบริบท

It is the reason you can 'teach' a model on the fly just by showing it what you want.

โดยปกติแล้ว การสอนโครงข่ายประสาทเทียมเป็นงานใหม่หมายถึงการอัปเดตน้ำหนักของโครงข่ายประสาทเทียมผ่านการฝึกอบรม การเรียนรู้ในบริบทนั้นแตกต่างออกไป: คุณเขียนตัวอย่างบางส่วนโดยตรงในข้อความแจ้ง ("บริบท") และแบบจำลองจะอนุมานรูปแบบและนำไปใช้กับอินพุตใหม่ ไม่มีสิ่งใดภายในโมเดลเปลี่ยนแปลง ตัวอย่างเป็นเพียงการทำนายโทเค็นถัดไป คุณจะได้ยินคำว่า 'zero-shot' (คำแนะนำเท่านั้น), 'one-shot' (หนึ่งตัวอย่าง) และ 'few-shot' (หลายตัวอย่าง) พฤติกรรมนี้ได้รับความนิยมโดย GPT-3 ในปี 2020 และกลายเป็นความสามารถที่เกิดขึ้นใหม่ โมเดลขนาดเล็กไม่สามารถทำได้ แต่เกินขนาดพารามิเตอร์ประมาณ 100 พันล้านพารามิเตอร์ ความแม่นยำในการแจ้งเตือนไม่กี่ครั้งก็เพิ่มขึ้นอย่างรวดเร็ว แบบจำลองเรียนรู้ได้อย่างมีประสิทธิภาพที่จะจดจำและดำเนินการรูปแบบต่อไปในระหว่างการฝึกล่วงหน้า ดังนั้นจึงสามารถนำทักษะนั้นกลับมาใช้ใหม่ได้ในเวลาอนุมาน