คู่มือ AI ภาษา
คำสาปการกลับรายการใน LLM
คำสาปผกผันเป็นโหมดความล้มเหลวที่น่าประหลาดใจ โดยที่แบบจำลองภาษาที่เรียนรู้ 'A คือ B' ไม่สามารถตอบ 'B คือ A' ได้อย่างน่าเชื่อถือ โดยเผยให้เห็นว่า LLM เก็บข้อเท็จจริงไว้เป็นการเชื่อมโยงแบบทิศทางเดียว ไม่ใช่เป็นความรู้แบบสมมาตร
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
เจาะลึก
คำสาปพลิกกลับที่บันทึกไว้ในรายงานปี 2023 โดย Berglund และเพื่อนร่วมงานแสดงให้เห็นว่า หากนางแบบได้รับการฝึกฝนเกี่ยวกับ 'แม่ของ Tom Cruise คือ Mary Lee Pfeiffer' ก็มักจะล้มเหลวเมื่อถูกถามว่า 'ลูกชายของ Mary Lee Pfeiffer คือใคร' แม้ว่าคำตอบจะเหมือนกันในเชิงตรรกะก็ตาม ผลกระทบจะคงอยู่ตามขนาดโมเดลและแม้กระทั่งหลังจากการปรับแต่งข้อเท็จจริงดังกล่าวอย่างละเอียดหลายร้อยรายการแล้ว ไม่ใช่ช่องว่างของหน่วยความจำ โมเดลเห็นข้อมูลแล้ว แต่อยู่ในลำดับเดียวเท่านั้น เนื่องจากการฝึกอบรมปรับการทำนายโทเค็นถัดไปให้เหมาะสมเหนือลำดับคำที่แน่นอนในข้อมูล ลิงก์ทางสถิติจาก A ถึง B จะไม่สร้างลิงก์จาก B กลับไปยัง A โดยอัตโนมัติ การค้นพบสมมติฐานที่ท้าทายซึ่งขยายขนาดเพียงอย่างเดียวทำให้เกิดความยืดหยุ่นและให้เหตุผลที่เหมือนมนุษย์เหนือข้อเท็จจริง
การใช้งานจริงในโลกแห่งความเป็นจริง
แชทบอตระบุผู้ปกครองของคนดังได้อย่างถูกต้อง แต่จะล้มเหลวเมื่อถูกขอให้ตั้งชื่อลูกที่มีชื่อเสียงของผู้ปกครองนั้น
นางแบบคนหนึ่งเล่าว่า 'ประธานาธิบดีคนที่เก้าคือวิลเลียม เฮนรี แฮร์ริสัน' แต่ก็สะดุดว่า 'ประธานาธิบดีคนไหนคือวิลเลียม เฮนรี แฮร์ริสัน'
ผู้ช่วยเขียนโค้ดที่เรียนรู้การแมปฟังก์ชันกับคำอธิบายไม่สามารถกู้คืนชื่อฟังก์ชันจากคำอธิบายเพียงอย่างเดียวได้
ระบบ QA ทางการแพทย์ที่ได้รับการฝึกอบรมเกี่ยวกับ 'ยา X รักษาอาการ Y' ไม่สามารถแสดงรายการยา X เมื่อถูกถามว่าอะไรรักษาอาการ Y
อนาคตของการกลับคำสาปใน LLM
การบรรเทาปัญหาภายใต้การศึกษา ได้แก่ การเพิ่มข้อมูลแบบสองทิศทาง (เพิ่มการใช้ถ้อยคำที่กลับกัน) วัตถุประสงค์การฝึกอบรมที่ทำนายโทเค็นในทั้งสองทิศทาง และระบบการดึงข้อมูลที่ค้นหาข้อเท็จจริงแบบสมมาตรแทนที่จะอาศัยน้ำหนักที่จดจำ สถาปัตยกรรมที่ใหม่กว่าและการทดลองเตรียมการแบบย้อนกลับช่วยลดช่องว่าง คาดหวังว่าคำสาปจะหดตัวแต่ไม่หายไป เนื่องจากเผยให้เห็นความไม่ตรงกันอย่างลึกซึ้งระหว่างการเรียนรู้โทเค็นถัดไปและโครงสร้างสมมาตรของความสัมพันธ์ในโลกแห่งความเป็นจริง
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ความเร็วและขนาด. ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
- เข้าถึงและเข้าถึง. ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ
ระวัง
- ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
- ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
- ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ
ขั้นตอนต่อไป
- กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
- การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
- รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
- ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ทำแบบทดสอบเรื่องคำสาปการสลับทิศทาง (Reversal Curse) ใน LLM
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
คำสาปการสลับทิศทางใน LLM คืออะไร?
คำสาปผกผันเป็นโหมดความล้มเหลวที่น่าประหลาดใจ โดยที่แบบจำลองภาษาที่เรียนรู้ 'A คือ B' ไม่สามารถตอบ 'B คือ A' ได้อย่างน่าเชื่อถือ โดยเผยให้เห็นว่า LLM เก็บข้อเท็จจริงไว้เป็นการเชื่อมโยงแบบทิศทางเดียว ไม่ใช่เป็นความรู้แบบสมมาตร
โมเดลเรียนรู้ว่า “A คือ B” แต่ไม่สามารถตอบว่า “B คือ A” ได้ สิ่งนี้เรียกว่าอะไร?
งานวิจัยชิ้นนี้เรียกความล้มเหลวตามทิศทางนี้ว่าคำสาปการสลับทิศทาง
คำสาปการสลับทิศทางแสดงให้เห็นอะไรเกี่ยวกับการเชื่อมโยงตามทิศทาง?
งานวิจัยรายงานว่าคำแถลงการณ์ไปข้างหน้าและย้อนกลับสามารถแสดงพฤติกรรมที่แตกต่างกันได้
คำสาปการสลับทิศทางเป็นเพียงความล้มเหลวเพราะโมเดลไม่เคยเห็นข้อเท็จจริงนั้นมาก่อนใช่หรือไม่?
งานวิจัยทำการทดสอบความล้มเหลวในการตอบคำถามแบบย้อนกลับหลังจากที่ได้รับข้อมูลไปข้างหน้าแล้ว
ทำไมการฝึกแบบทำนายโทเค็นถัดไปจึงอาจมีส่วนทำให้เกิดผลลัพธ์นี้?
งานวิจัยอภิปรายว่าทิศทางของลำดับมีความเกี่ยวข้องกับความล้มเหลว
ความล้มเหลวในการตอบคำถามแบบย้อนกลับบ่งบอกอะไรเกี่ยวกับความรู้ของโมเดล?
การค้นพบนี้ท้าทายข้อสมมติฐานเกี่ยวกับการใช้ข้อเท็จจริงที่จัดเก็บไว้อย่างยืดหยุ่น
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้