ต่อไปคำแนะนำต่อไป
การเพิ่มประสิทธิภาพการตั้งค่าอัตราส่วนอัตราต่อรอง
ภาษาเอไอ
คู่มือพื้นฐาน
การทำให้เป็นมาตรฐานของความยาวจะปรับวัตถุประสงค์ในการปรับแต่งตามความชอบ ดังนั้นโมเดลจะหยุดการอนุมัติเพียงแค่เขียนคำตอบที่ยาวขึ้นเท่านั้น
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
มันสําคัญเพราะสัญญาณรางวัลที่ไม่ได้รับการแก้ไขจะผลักดันแชทบอทไปสู่คําตอบที่ยาวและยืดเยื้อแทนที่จะเป็นคําตอบที่ดีกว่าจริง ๆ
When models are aligned with comparisons, human or reward-model labelers may prefer longer answers even when the extra text is not better. In standard DPO, the implicit reward sums per-token log-probability differences, so it can grow with response length. SimPO uses average per-token log probability, removes the need for a separate reference model, and adds a target reward margin between preferred and rejected responses. The SimPO paper reports chat-based evaluations on AlpacaEval 2, MT-Bench, and Arena-Hard; these results are tied to its tested models and training setups. Length-normalized objectives can reduce verbosity bias, but aggressive normalization can also encourage under-informative answers. Evaluation should assess completeness and correctness alongside length-controlled preference results.
ปรับแต่งผู้ช่วยสนับสนุนลูกค้าด้วย SimPO เพื่อให้การตอบกลับที่คมชัดและแม่นยำ แทนที่จะใช้ย่อหน้าที่ดูอย่างละเอียดเท่านั้น
การรายงาน 'อัตราการชนะที่ควบคุมความยาว' บน AlpacaEval 2 เพื่อแสดงแบบจำลองที่ได้รับการปรับปรุงอย่างแท้จริง แทนที่จะเพียงแค่พูดคุยมากขึ้น
การเพิ่มการทำให้เป็นมาตรฐานของความยาวให้กับ DPO เมื่อปรับแต่งโมเดลการเข้ารหัสอย่างละเอียด เพื่อที่จะส่งตัวอย่างข้อมูลที่ถูกต้องน้อยที่สุด ไม่ใช่สำเร็จรูปที่บวม
การวินิจฉัยรูปแบบการให้รางวัลที่ให้คะแนนเรียงความที่ยาวกว่าอย่างเป็นระบบ จากนั้นให้ลดอคติก่อนที่จะใช้เพื่อจัดตำแหน่งผู้ช่วยเขียน
คาดว่าการควบคุมความยาวจะกลายเป็นปุ่มมาตรฐานแทนที่จะเป็นสิ่งที่คิดในภายหลัง นักวิจัยกำลังรวมการปรับความยาวให้เป็นมาตรฐานเข้ากับบทลงโทษความยาวที่ชัดเจน รางวัลที่มีเงื่อนไขตามความยาว และชุดการประเมินที่คงความยาวคำตอบไว้คงที่เพื่อวัดคุณภาพที่เพิ่มขึ้นอย่างแท้จริง เมื่อโมเดลรางวัลได้รับการปรับปรุงให้ดีขึ้นในการตรวจจับอคติการใช้คำฟุ่มเฟือย ไปป์ไลน์การจัดแนวมีแนวโน้มที่จะรายงานอัตราการชนะแบบลดอคติด้านความยาวตามค่าเริ่มต้น และผู้ใช้จะสามารถควบคุมได้ดียิ่งขึ้นว่าคำตอบของโมเดลควรกระชับหรือละเอียดเพียงใด
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
การทำให้เป็นมาตรฐานของความยาวจะปรับวัตถุประสงค์ในการปรับแต่งตามความชอบ ดังนั้นโมเดลจะหยุดการอนุมัติเพียงแค่เขียนคำตอบที่ยาวขึ้นเท่านั้น สิ่งสำคัญคือเนื่องจากสัญญาณรางวัลที่ไม่ถูกต้องจะผลักดันให้แชทบอทหันไปตอบสนองแบบละเอียดและมีการตอบกลับ แทนที่จะเป็นสัญญาณที่ดีกว่าอย่างแท้จริง
รางวัลโดยนัยของ DPO จะเพิ่มขึ้นตามจำนวนโทเค็น ดังนั้นหากไม่มีโมเดลการทำให้เป็นมาตรฐานจะเรียนรู้ว่าการใช้รายละเอียดมากขึ้นมีแนวโน้มที่จะชนะการเปรียบเทียบตามความชอบ
รางวัลโดยนัยจะรวมอัตราส่วนความน่าจะเป็นของบันทึกในทุกโทเค็น ดังนั้นโดยทั่วไปแล้ว โทเค็นที่มากขึ้นหมายถึงรางวัลรวมที่มากขึ้น
SimPO ให้คะแนนการตอบสนองตามความน่าจะเป็นของบันทึกโดยเฉลี่ย (ความยาวปกติ) และเพิ่มส่วนต่างรางวัลเป้าหมาย โดยลบข้อได้เปรียบด้านความยาวเชิงกลออกไป
อัตราการชนะที่ควบคุมความยาว (เช่นเดียวกับ AlpacaEval 2) จะปรับตามความยาวของคำตอบ ดังนั้นกำไรที่ได้จะสะท้อนถึงคุณภาพ ไม่ใช่การใช้คำฟุ่มเฟือย
The SimPO paper reports chat-based evaluations on AlpacaEval 2, MT-Bench, and Arena-Hard; these benchmark results apply to the tested models and setups.
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การเพิ่มประสิทธิภาพการตั้งค่าอัตราส่วนอัตราต่อรอง
ภาษาเอไอ