คำสาปการกลับรายการใน LLM
คำสาปผกผันเป็นโหมดความล้มเหลวที่น่าประหลาดใจ โดยที่แบบจำลองภาษาที่เรียนรู้ 'A คือ B' ไม่สามารถตอบ 'B คือ A' ได้อย่างน่าเชื่อถือ โดยเผยให้เห็นว่า LLM เก็บข้อเท็จจริงไว้เป็นการเชื่อมโยงแบบทิศทางเดียว ไม่ใช่เป็นความรู้แบบสมมาตร
เจาะลึก
คำสาปพลิกกลับที่บันทึกไว้ในรายงานปี 2023 โดย Berglund และเพื่อนร่วมงานแสดงให้เห็นว่า หากนางแบบได้รับการฝึกฝนเกี่ยวกับ 'แม่ของ Tom Cruise คือ Mary Lee Pfeiffer' ก็มักจะล้มเหลวเมื่อถูกถามว่า 'ลูกชายของ Mary Lee Pfeiffer คือใคร' แม้ว่าคำตอบจะเหมือนกันในเชิงตรรกะก็ตาม ผลกระทบจะคงอยู่ตามขนาดโมเดลและแม้กระทั่งหลังจากการปรับแต่งข้อเท็จจริงดังกล่าวอย่างละเอียดหลายร้อยรายการแล้ว ไม่ใช่ช่องว่างของหน่วยความจำ โมเดลเห็นข้อมูลแล้ว แต่อยู่ในลำดับเดียวเท่านั้น เนื่องจากการฝึกอบรมปรับการทำนายโทเค็นถัดไปให้เหมาะสมเหนือลำดับคำที่แน่นอนในข้อมูล ลิงก์ทางสถิติจาก A ถึง B จะไม่สร้างลิงก์จาก B กลับไปยัง A โดยอัตโนมัติ การค้นพบสมมติฐานที่ท้าทายซึ่งขยายขนาดเพียงอย่างเดียวทำให้เกิดความยืดหยุ่นและให้เหตุผลที่เหมือนมนุษย์เหนือข้อเท็จจริง
ข้อมูลเชิงลึกทางเทคนิค
ทรานส์ฟอร์มเมอร์เรียนรู้โดยการทำนายโทเค็นถัดไปตามบริบทก่อนหน้า ดังนั้นการอัปเดตการไล่ระดับสีจะเสริมความแข็งแกร่งให้กับการแมปทิศทาง 'A จากนั้น B' แต่ปล่อย 'B จากนั้น A' ไว้โดยไม่มีใครแตะต้อง เว้นแต่ลำดับนั้นจะปรากฏในการฝึกด้วย ทั้งสองทิศทางอาศัยอยู่ในเส้นทางน้ำหนักที่แยกจากกัน นักวิจัยยืนยันสิ่งนี้โดยการวัดความน่าจะเป็นของบันทึก: หลังจากเรียนรู้ข้อเท็จจริงล่วงหน้า ความน่าจะเป็นของคำสั่งย้อนกลับยังคงอยู่ที่ระดับพื้นฐาน ซึ่งแสดงว่าไม่มีการผกผันเชิงตรรกะโดยปริยายเกิดขึ้นระหว่างการฝึก
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
เข้าถึงและเข้าถึง
ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
การตัดสินใจที่ชัดเจนยิ่งขึ้น
ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ
อนาคตของการกลับคำสาปใน LLM
การบรรเทาปัญหาภายใต้การศึกษา ได้แก่ การเพิ่มข้อมูลแบบสองทิศทาง (เพิ่มการใช้ถ้อยคำที่กลับกัน) วัตถุประสงค์การฝึกอบรมที่ทำนายโทเค็นในทั้งสองทิศทาง และระบบการดึงข้อมูลที่ค้นหาข้อเท็จจริงแบบสมมาตรแทนที่จะอาศัยน้ำหนักที่จดจำ สถาปัตยกรรมที่ใหม่กว่าและการทดลองเตรียมการแบบย้อนกลับช่วยลดช่องว่าง คาดหวังว่าคำสาปจะหดตัวแต่ไม่หายไป เนื่องจากเผยให้เห็นความไม่ตรงกันอย่างลึกซึ้งระหว่างการเรียนรู้โทเค็นถัดไปและโครงสร้างสมมาตรของความสัมพันธ์ในโลกแห่งความเป็นจริง
การใช้งานจริงในโลกแห่งความเป็นจริง
แชทบอตระบุผู้ปกครองของคนดังได้อย่างถูกต้อง แต่จะล้มเหลวเมื่อถูกขอให้ตั้งชื่อลูกที่มีชื่อเสียงของผู้ปกครองนั้น
นางแบบคนหนึ่งเล่าว่า 'ประธานาธิบดีคนที่เก้าคือวิลเลียม เฮนรี แฮร์ริสัน' แต่ก็สะดุดว่า 'ประธานาธิบดีคนไหนคือวิลเลียม เฮนรี แฮร์ริสัน'
ผู้ช่วยเขียนโค้ดที่เรียนรู้การแมปฟังก์ชันกับคำอธิบายไม่สามารถกู้คืนชื่อฟังก์ชันจากคำอธิบายเพียงอย่างเดียวได้
ระบบ QA ทางการแพทย์ที่ได้รับการฝึกอบรมเกี่ยวกับ 'ยา X รักษาอาการ Y' ไม่สามารถแสดงรายการยา X เมื่อถูกถามว่าอะไรรักษาอาการ Y
ความเสี่ยงและรั้ว
ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ
แผนงานการดำเนินงาน
กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reversal Curse in LLMs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
ChatGPT และ LLM
คำถามที่พบบ่อย
What is Reversal Curse in LLMs?
คำสาปผกผันเป็นโหมดความล้มเหลวที่น่าประหลาดใจ โดยที่แบบจำลองภาษาที่เรียนรู้ 'A คือ B' ไม่สามารถตอบ 'B คือ A' ได้อย่างน่าเชื่อถือ โดยเผยให้เห็นว่า LLM เก็บข้อเท็จจริงไว้เป็นการเชื่อมโยงแบบทิศทางเดียว ไม่ใช่เป็นความรู้แบบสมมาตร
คำสาปผกผันอธิบายอะไร?
คำสาปย้อนกลับคือความล้มเหลวในการอนุมาน 'B คือ A' จากการฝึก 'A คือ B' แม้ว่าทั้งสองจะเทียบเท่ากันในเชิงตรรกะก็ตาม
เหตุใดคำสาปผกผันจึงเกิดขึ้นโดยกลไก?
เนื่องจากการฝึกฝนจะปรับการคาดการณ์โทเค็นถัดไปให้เหมาะสมตามลำดับที่สังเกตได้ การแมปแบบย้อนกลับจะไม่ได้รับการเสริม เว้นแต่จะปรากฏในการฝึกด้วย
การเพิ่มขนาดโมเดลสามารถแก้ไขคำสาปการกลับรายการได้อย่างน่าเชื่อถือหรือไม่
การศึกษาครั้งแรกพบว่าคำสาปแช่งโมเดลขนาดต่างๆ ซึ่งบ่งชี้ว่าขนาดเพียงอย่างเดียวไม่สามารถแก้ไขได้
การบรรเทาผลกระทบใดมุ่งเป้าไปที่คำสาปผกผันโดยตรง
การเพิ่มข้อมูลแบบสองทิศทางจะทำให้แบบจำลองมีทั้ง 'A คือ B' และ 'B คือ A' ทำให้เกิดการเชื่อมโยงแบบย้อนกลับที่ขาดหายไป
นักวิจัยยืนยันได้อย่างไรว่าแบบจำลองไม่ได้เรียนรู้ข้อเท็จจริงที่ตรงกันข้ามโดยปริยาย
ความน่าจะเป็นของข้อความที่กลับรายการจะยังคงอยู่ใกล้เส้นฐานหลังการฝึกไปข้างหน้า ซึ่งแสดงว่าไม่มีการผกผันเชิงตรรกะเกิดขึ้น