การรวมตัวของสารผสม
Mixture-of-Agents (MoA) เป็นเทคนิคที่แบบจำลองภาษาหลายภาษาร่างคำตอบ จากนั้นแบบจำลองผู้รวบรวมจะหลอมรวมความคิดที่ดีที่สุดของตนให้เป็นคำตอบที่ได้รับการปรับปรุงเพียงหนึ่งเดียว
ภาพรวม
It lets a team of open models rival or beat a single top-tier model.
เจาะลึก
Mixture-of-Agents เปิดตัวในรายงานปี 2024 จาก Together AI โดยจัด LLM หลายรายการเป็นชั้นต่างๆ ในเลเยอร์แรก โมเดล 'ผู้เสนอ' หลายโมเดลจะตอบคำถามอย่างเป็นอิสระต่อกัน จากนั้นเอาท์พุตของพวกมันจะถูกต่อเข้าด้วยกันและส่งต่อไปยังเลเยอร์ถัดไป โดยที่โมเดลจะตอบสนองอีกครั้ง โดยตอนนี้มีเงื่อนไขบนแบบร่างก่อนหน้านี้ทั้งหมด หลังจากรอบดังกล่าวหนึ่งรอบขึ้นไป โมเดล 'ผู้รวบรวม' สุดท้ายจะสังเคราะห์ทุกอย่างให้เป็นคำตอบเดียว ความเข้าใจหลักซึ่งผู้เขียนเรียกว่า 'การทำงานร่วมกันของ LLM' ก็คือแบบจำลองจะสร้างการตอบสนองที่ดีกว่าเมื่อแสดงคำตอบของเพื่อนร่วมงาน แม้กระทั่งคำตอบที่ไม่สมบูรณ์ก็ตาม ในเกณฑ์มาตรฐาน AlpacaEval 2.0 มีรายงานว่า MoA ที่สร้างขึ้นจากโมเดลโอเพ่นซอร์สทั้งหมดมีรายงานว่าเหนือกว่าคะแนนของ GPT-4 Omni ซึ่งแสดงให้เห็นว่าการรวมตัวกันอย่างรอบคอบของโมเดลที่หลากหลายและราคาถูกกว่าสามารถเอาชนะระบบพรมแดนเดียวได้
ข้อมูลเชิงลึกทางเทคนิค
MoA แตกต่างจากการลงคะแนนเสียงข้างมาก: แทนที่จะเลือกคำตอบเดียว ผู้รวบรวมจะอ่านคำตอบของผู้สมัครทั้งหมดตามบริบท และสร้างการสังเคราะห์ใหม่ ผสมผสานจุดแข็งและข้อผิดพลาดในการกรอง ความหลากหลายในหมู่ผู้เสนอช่วยได้ ดังนั้นการผสมผสานตระกูลโมเดลที่แตกต่างกันจึงมีคุณค่า โครงสร้างเป็นแบบเลเยอร์ เหมือนเครือข่ายระดับลึกที่ 'เซลล์ประสาท' ของแต่ละเลเยอร์เป็นการเรียก LLM ทั้งหมด ข้อเสียคือเวลาแฝงและต้นทุน: แต่ละเลเยอร์จะคูณจำนวนการเรียกอนุมาน ดังนั้น MoA จึงใช้การประมวลผลมากขึ้นเพื่อยกระดับคุณภาพ
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
เข้าถึงและเข้าถึง
ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
การตัดสินใจที่ชัดเจนยิ่งขึ้น
ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ
อนาคตของการรวมตัวของสารผสม
คาดว่าการรวมแบบ MoA จะแพร่กระจายเนื่องจากการอนุมานมีราคาถูกลงและเฟรมเวิร์กการประสานจะครบกำหนด ทิศทางการวิจัยรวมถึงการเรียนรู้ว่าผู้เสนอรายใดที่จะเชื่อถือต่อการสืบค้น (การกำหนดเส้นทาง) การลดโทษด้านเวลาแฝงโดยเรียกใช้ผู้เสนอแบบขนานและตัดผู้เสนอที่อ่อนแอตั้งแต่เนิ่นๆ และการผสาน MoA เข้ากับตัวแทนที่ใช้เครื่องมือเพื่อให้ผู้รวบรวมไม่เพียงหลอมรวมข้อความ แต่การดำเนินการและดึงหลักฐาน เมื่อโมเดลแบบเปิดแพร่หลายมากขึ้น การประกอบโมเดลเหล่านี้อย่างชาญฉลาดกลายเป็นเส้นทางที่นำไปปฏิบัติได้จริงมากขึ้น สู่คุณภาพระดับแนวหน้า โดยไม่ต้องใช้โมเดลขนาดยักษ์เพียงตัวเดียว
การใช้งานจริงในโลกแห่งความเป็นจริง
การรวมโมเดลแชทแบบเปิดที่แตกต่างกันสามแบบเข้าด้วยกันเป็นผู้เสนอ จากนั้นใช้ผู้รวบรวมที่แข็งแกร่งเพื่อสร้างการตอบกลับการสนับสนุนลูกค้าที่สวยงาม
การเพิ่มคะแนนการปฏิบัติตามคำสั่งในการวัดประสิทธิภาพแบบ AlpacaEval โดยใช้เฉพาะโมเดลโอเพ่นซอร์สเท่านั้น
การรวมคำแนะนำโค้ดที่หลากหลายจากหลายรุ่นเข้าไว้ในการใช้งานฟังก์ชันเดียวที่มีประสิทธิภาพยิ่งขึ้น
ใช้งานไปป์ไลน์ open-weights ที่เข้าใกล้คุณภาพระดับแนวหน้าสำหรับการปรับใช้ที่คำนึงถึงความเป็นส่วนตัว โดยที่ข้อมูลไม่สามารถออกจากเซิร์ฟเวอร์ของบริษัทได้
ความเสี่ยงและรั้ว
ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ
แผนงานการดำเนินงาน
กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixture-of-Agents Aggregation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
ส่วนผสมของความลึก
คำถามที่พบบ่อย
What is Mixture-of-Agents Aggregation?
Mixture-of-Agents (MoA) เป็นเทคนิคที่แบบจำลองภาษาหลายภาษาร่างคำตอบ จากนั้นแบบจำลองผู้รวบรวมจะหลอมรวมความคิดที่ดีที่สุดของตนให้เป็นคำตอบที่ได้รับการปรับปรุงเพียงหนึ่งเดียว ช่วยให้ทีมของโมเดลแบบเปิดแข่งขันหรือเอาชนะโมเดลระดับบนสุดเพียงตัวเดียวได้
ใน Mixture-of-Agents บทบาทของโมเดล aggregator คืออะไร?
ผู้รวบรวมจะอ่านคำตอบของผู้สมัครทั้งหมด และสร้างคำตอบเดียวที่มีคุณภาพสูงกว่า
เอกสาร MoA อาศัยคุณสมบัติหลักอะไรของ LLM
ผู้เขียนตั้งข้อสังเกตว่าแบบจำลองปรับปรุงคำตอบของตนเมื่อมีเงื่อนไขกับแบบร่างของโมเดลอื่น แม้แต่แบบจำลองที่ไม่สมบูรณ์ก็ตาม
MoA แตกต่างจากการลงคะแนนเสียงข้างมากแบบธรรมดาอย่างไร
แตกต่างจากการลงคะแนน MoA ไม่เพียงแค่เลือกคำตอบที่มีอยู่เพียงคำตอบเดียวเท่านั้น มันสร้างการตอบสนองใหม่ที่ผสมผสานผู้สมัคร
เหตุใดความหลากหลายระหว่างแบบจำลองของผู้เสนอจึงมีคุณค่าใน MoA
ผู้เสนอที่หลากหลายครอบคลุมพื้นที่มากขึ้น ทำให้ผู้รวบรวมมีชุดแนวคิดที่สมบูรณ์ยิ่งขึ้นในการหลอมรวมและข้อผิดพลาดในการกรอง
ต้นทุนเชิงปฏิบัติหลักของแนวทาง MoA คืออะไร?
แต่ละเลเยอร์จะเพิ่มการเรียก LLM มากขึ้น ดังนั้น MoA จึงแลกการประมวลผลและเวลาเพิ่มเติมเพื่อปรับปรุงคุณภาพคำตอบ