เกิดอะไรขึ้น
กรอบการวิจัยใหม่ที่เรียกว่า LogicTrack ได้รับการแนะนำเพื่อแก้ไขปัญหาของแบบจำลองภาษาขนาดใหญ่ (LLM) ที่สร้างคำตอบสุดท้ายที่ถูกต้องผ่านห่วงโซ่การให้เหตุผลที่มีข้อบกพร่องทางตรรกะ LogicTrack ทำหน้าที่เป็นระบบสัญลักษณ์ประสาทที่จัดรูปแบบขั้นตอนแต่ละขั้นตอนภายในกระบวนการลูกโซ่แห่งความคิด (CoT) ให้กลายเป็นการแสดงสัญลักษณ์โดยอัตโนมัติ การเป็นตัวแทนเหล่านี้จะได้รับการตรวจสอบโดยใช้เครื่องพิสูจน์ทฤษฎีบทอัตโนมัติเพื่อให้แน่ใจว่ามีความสอดคล้องกันในเชิงตรรกะ เฟรมเวิร์กนี้แนะนำกลไก Solver-Based Backtracking Reward (SBR) ซึ่งให้คะแนนแบบเป็นขั้นตอนเพื่อเป็นแนวทางในการค้นหาแผนผังการย้อนรอยในระหว่างการอนุมาน นอกจากนี้ นักวิจัยยังใช้ LogicTrack เพื่อสร้างข้อมูลการปรับแต่งแบบละเอียดภายใต้การดูแล (SFT) ซึ่งช่วยให้โมเดลเรียนรู้การตรวจสอบแบบเป็นขั้นตอนซึ่งเป็นความสามารถภายใน
LogicTrack กล่าวถึงลักษณะของ 'กล่องดำ' ของการให้เหตุผลแบบลูกโซ่แห่งความคิดโดยการแนะนำเลเยอร์สัญลักษณ์ทางประสาท แทนที่จะอาศัยการแจกแจงความน่าจะเป็นภายในของโมเดลเพียงอย่างเดียวเพื่อกำหนดขั้นตอนถัดไป กรอบงานจะแปลงขั้นตอนการให้เหตุผลแต่ละขั้นตอนเป็นภาษาสัญลักษณ์ที่เป็นทางการ
ระบบใช้เครื่องพิสูจน์ทฤษฎีบทอัตโนมัติเพื่อตรวจสอบความถูกต้องของขั้นตอนเชิงสัญลักษณ์เหล่านี้ หากพบว่าขั้นตอนใดไม่สมเหตุสมผลในเชิงตรรกะ กลไก Solver-Based Backtracking Reward (SBR) จะทริกเกอร์การค้นหาแผนผังการย้อนรอย โดยบังคับให้โมเดลสำรวจเส้นทางการให้เหตุผลทางเลือกที่มีความสอดคล้องในเชิงตรรกะ
นอกเหนือจากการตรวจสอบตามเวลาอนุมานแล้ว นักวิจัยยังใช้กรอบงานเพื่อสร้างชุดข้อมูล 'การติดตามย้อนกลับ' ด้วยการปรับแต่งโมเดลอย่างละเอียดในข้อมูลนี้ ทำให้โมเดลสามารถดำเนินการรูปแบบการตรวจสอบตนเองได้ โดยที่โมเดลจะเรียนรู้ที่จะจัดลำดับความสำคัญของเส้นทางการใช้เหตุผลอย่างมีเหตุผล โดยไม่ต้องใช้การพิสูจน์ทฤษฎีบทภายนอกในทุกขั้นตอนของการอนุมานในอนาคต
ทำไมมันถึงสำคัญ
การพึ่งพาผลตอบรับตามผลลัพธ์ในการฝึกอบรม LLM ในปัจจุบันมักจะปกปิดขั้นตอนการให้เหตุผลที่ 'หลอน' หรือไม่ถูกต้องตามหลักตรรกะ ซึ่งก่อให้เกิดความเสี่ยงที่สำคัญในขอบเขตที่มีความเสี่ยงสูง เช่น การแพทย์ กฎหมาย หรือวิศวกรรม ซึ่งกระบวนการมีความสำคัญพอๆ กับผลลัพธ์ ด้วยการผสานรวมการตรวจสอบสัญลักษณ์อย่างเป็นทางการเข้ากับวิถีการให้เหตุผล LogicTrack จัดเตรียมกลไกในการบังคับใช้ความรุนแรงเชิงตรรกะ การเปลี่ยนจากเอาต์พุตที่น่าจะเป็นเพียงอย่างเดียวไปเป็นตรรกะเชิงสัญลักษณ์ที่ตรวจสอบได้นี้ช่วยเพิ่มความน่าเชื่อถือของระบบ AI ความสามารถในการรวมกระบวนการตรวจสอบนี้ไว้ภายในด้วยการปรับแต่งอย่างละเอียด ชี้ให้เห็นเส้นทางสู่แบบจำลองที่มีความน่าเชื่อถือโดยเนื้อแท้มากกว่า และมีแนวโน้มที่จะเกิดข้อผิดพลาดเชิงตรรกะน้อยกว่า แม้ว่าจะทำงานนอกสภาพแวดล้อมการตรวจสอบอย่างเป็นทางการก็ตาม ประสิทธิผลของกรอบการทำงานแสดงให้เห็นผ่านเกณฑ์มาตรฐานการให้เหตุผล 8 รายการ และ LLM ที่แตกต่างกัน 7 รายการ ซึ่งบ่งชี้ถึงการนำไปใช้ในวงกว้างเพื่อปรับปรุงความน่าเชื่อถือของโมเดล
กระบวนทัศน์การฝึกอบรม LLM ปัจจุบันจัดลำดับความสำคัญของคำตอบสุดท้าย ซึ่งอาจนำไปสู่คำตอบที่ 'ถูกต้อง' ที่ได้มาจากตรรกะที่ไม่ถูกต้อง นี่เป็นปัญหาในสภาพแวดล้อมที่มีเดิมพันสูงซึ่งกระบวนการให้เหตุผลจะต้องตรวจสอบและตรวจสอบได้
LogicTrack เชื่อมช่องว่างระหว่างโครงข่ายประสาทเทียมที่น่าจะเป็นและตรรกะเชิงสัญลักษณ์ที่กำหนดได้ ด้วยการบังคับใช้ความสอดคล้องทางตรรกะ จะช่วยลดโอกาสที่แบบจำลองจะได้ข้อสรุปที่ถูกต้องผ่านขั้นตอนกลางที่มีข้อบกพร่องหรือไร้สาระ
ความสำเร็จของกรอบการทำงานใน LLM ที่แตกต่างกันเจ็ดแห่ง แสดงให้เห็นว่าวิธีการนี้เป็นแบบไม่เชื่อเรื่องพระเจ้า โดยให้วิธีที่เป็นมาตรฐานในการปรับปรุงคุณภาพของห่วงโซ่การให้เหตุผลในสถาปัตยกรรมต่างๆ
กลไกเชิงโต้ตอบ: มันทำงานอย่างไร
สำรวจเทคโนโลยีเบื้องหลังการพัฒนานี้แบบโต้ตอบ
Which component of an AI application is the machine-learning model itself?
จะดูอะไรต่อไป.
สิ่งที่ไม่ทราบหลักๆ คือค่าใช้จ่ายในการคำนวณที่เกี่ยวข้องกับการรันตัวพิสูจน์ทฤษฎีบทอัตโนมัติในระหว่างการอนุมาน ซึ่งอาจจำกัดการใช้งานแบบเรียลไทม์ในแอปพลิเคชันที่ไวต่อความหน่วง การพัฒนาในอนาคตมีแนวโน้มที่จะมุ่งเน้นไปที่การปรับกระบวนการกำหนดรูปแบบอัตโนมัติให้เหมาะสมเพื่อจัดการกับงานการให้เหตุผลที่ซับซ้อนและไม่ใช่คณิตศาสตร์ซึ่งปัจจุบันการแสดงสัญลักษณ์เป็นเรื่องยาก คงต้องรอดูกันต่อไปว่ากรอบการทำงานนี้ปรับขนาดเป็นโมเดลที่ใหญ่ขึ้นและคลุมเครือมากขึ้นได้ดีเพียงใด และประสิทธิภาพที่เพิ่มขึ้นในด้านความแม่นยำในการให้เหตุผลแปลไปสู่ความน่าเชื่อถือในโลกแห่งความเป็นจริงในสภาพแวดล้อมที่ไม่ใช่เกณฑ์มาตรฐานหรือไม่ ผู้ใช้ควรตรวจสอบว่าแนวทางนี้รวมเข้ากับไปป์ไลน์การฝึกโมเดลเชิงพาณิชย์หรือไม่ หรือยังคงเป็นเครื่องมือในขั้นตอนการวิจัยสำหรับงานตรวจสอบเฉพาะทางเป็นหลัก
การวิจัยไม่ได้ระบุผลกระทบด้านเวลาแฝงของการรันผู้พิสูจน์ทฤษฎีบทในระหว่างการอนุมาน การนำไปใช้จริงจะขึ้นอยู่กับว่าสามารถลดค่าใช้จ่ายนี้ให้เหลือน้อยที่สุดสำหรับสภาพแวดล้อมการผลิตได้หรือไม่
ขอบเขตของ 'การทำให้เป็นทางการโดยอัตโนมัติ' ถือเป็นข้อจำกัดที่สำคัญ แม้ว่าจะมีประสิทธิภาพสำหรับการวัดประสิทธิภาพทางคณิตศาสตร์และตรรกะ แต่ก็ยังไม่มีความชัดเจนว่ากรอบการทำงานสามารถสร้างการให้เหตุผลแบบเป็นทางการในโดเมนที่เป็นอัตวิสัยหรือคลุมเครือได้อย่างมีประสิทธิผลเพียงใด
ความพร้อมใช้งานของโค้ดและตัวพิสูจน์ทฤษฎีบทเฉพาะที่ใช้นั้นไม่มีรายละเอียดในประกาศ ทำให้ยังไม่ทราบการเข้าถึงของกรอบการทำงานนี้สำหรับการตรวจสอบโดยอิสระหรือการดำเนินการ