คู่มือ AI ภาษา

ความเกี่ยวข้องส่วนเพิ่มสูงสุด

Maximum Marginal Relevance (MMR) เป็นวิธีการจัดอันดับใหม่ที่สร้างสมดุลระหว่างความเกี่ยวข้องของผลลัพธ์กับความแตกต่างจากผลลัพธ์ที่เลือกไว้แล้ว

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของความเกี่ยวข้องส่วนเพิ่มสูงสุด
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

เป็นเรื่องสำคัญเนื่องจากการจัดอันดับความเกี่ยวข้องอย่างแท้จริงมักจะส่งกลับข้อความที่เกือบจะซ้ำกันซึ่งทำให้เปลืองพื้นที่ในหน้าต่างบริบท RAG

เจาะลึก

เมื่อระบบค้นหาให้คะแนนเอกสารตามความเกี่ยวข้องกับข้อความค้นหาเพียงอย่างเดียว ผลลัพธ์อันดับต้นๆ มักจะซ้ำซ้อน — มีข้อความห้าข้อความที่พูดสิ่งเดียวกันทั้งหมด MMR ซึ่งแนะนำโดย Carbonell และ Goldstein ในปี 1998 แก้ไขปัญหานี้โดยเลือกผลลัพธ์ทีละรายการ ในแต่ละขั้นตอน ระบบจะเลือกตัวเลือกที่จะเพิ่มการผสมผสานแบบถ่วงน้ำหนักให้ได้สูงสุด โดย lambda คูณความเกี่ยวข้องกับแบบสอบถาม ลบ (1 ลบ lambda) คูณความคล้ายคลึงสูงสุดกับสิ่งที่เลือกไว้แล้ว แลมบ์ดาที่อยู่ใกล้ 1 ให้ความสำคัญกับความเกี่ยวข้องอย่างแท้จริง ใกล้ 0 มันชอบความหลากหลาย ในยุคที่ดึงข้อมูลมาเสริม MMR ได้รับความนิยมในการดึงข้อมูลชุดข้อมูลที่หลากหลาย ดังนั้นโมเดลภาษาจึงเห็นหลักฐานเสริมแทนที่จะแสดงข้อเท็จจริงเดียวกันซ้ำ ปรับปรุงความครอบคลุมโดยไม่ต้องขยายบริบท

การใช้งานจริงในโลกแห่งความเป็นจริง

แชทบอต RAG ใช้การดึงข้อมูล MMR ดังนั้น 5 ส่วนแรกจึงครอบคลุมแง่มุมต่างๆ ของนโยบาย แทนที่จะเป็น 5 บทถอดความในย่อหน้าเดียวกัน

เครื่องมือสรุปการวิจัยใช้ MMR เพื่อเลือกข้อความที่ลดการทับซ้อนกัน ทำให้เกิดบทสรุปที่กว้างขึ้นและซ้ำกันน้อยลง

ผู้รวบรวมข่าวจัดอันดับบทความด้วย MMR เพื่อนำเสนอการรายงานข่าวที่หลากหลายของเหตุการณ์ แทนที่จะเป็นช่องทางสิบแห่งที่เล่าเรื่องลวดเรื่องเดียว

ตัวดึงข้อมูลร้านค้าเวกเตอร์ของ LangChain เปิดเผย search_type='mmr' ด้วย fetch_k และ lambda_mult เพื่อกระจายเอกสารที่ส่งคืน

อนาคตของความเกี่ยวข้องส่วนเพิ่มสูงสุด

MMR ยังคงเป็นค่าเริ่มต้นที่ไม่รุนแรงในไคลเอนต์ฐานข้อมูลเวกเตอร์ เช่น LangChain และ Chroma โดยที่มันถูกนำเสนอเป็นโหมดการดึงข้อมูลบรรทัดเดียว ระบบในอนาคตจะจับคู่กับวัตถุประสงค์การเรียนรู้ที่หลากหลายมากขึ้น การเลือกตามคลัสเตอร์ และตัวเข้ารหัสข้ามตัวจัดลำดับใหม่ที่ตัดสินความแปลกใหม่ในเชิงความหมายมากกว่าระยะทางโคไซน์ เมื่อหน้าต่างบริบทเติบโตขึ้น การเน้นเปลี่ยนจากการประหยัดพื้นที่ไปเป็นการรวบรวมหลักฐานเสริมอย่างแท้จริง โดยรักษาการเลือกที่คำนึงถึงความหลากหลาย เช่น MMR ให้มีความเกี่ยวข้องแม้ว่ากำลังการผลิตดิบจะมีมากมายก็ตาม

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเร็วและขนาด. ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
  • เข้าถึงและเข้าถึง. ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ

ระวัง

  • ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
  • ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
  • ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ

ขั้นตอนต่อไป

  1. กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
  2. การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
  3. รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
  4. ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Maximum Marginal Relevance quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

ความเกี่ยวข้องส่วนเพิ่มสูงสุดคืออะไร?

Maximum Marginal Relevance (MMR) เป็นวิธีการจัดอันดับใหม่ที่สร้างสมดุลระหว่างความเกี่ยวข้องของผลลัพธ์กับความแตกต่างจากผลลัพธ์ที่เลือกไว้แล้ว เป็นเรื่องสำคัญเนื่องจากการจัดอันดับความเกี่ยวข้องอย่างแท้จริงมักจะส่งกลับข้อความที่เกือบจะซ้ำกันซึ่งทำให้เปลืองพื้นที่ในหน้าต่างบริบท RAG

ปัญหาหลัก MMR ได้รับการออกแบบมาเพื่อแก้ไขคืออะไร?

MMR กล่าวถึงแนวโน้มของการจัดอันดับที่เกี่ยวข้องเท่านั้นเพื่อแสดงผลลัพธ์จำนวนมากที่บอกว่าเป็นสิ่งเดียวกัน โดยให้รางวัลแก่สิ่งแปลกใหม่

ในสูตร MMR ค่าแลมบ์ดาใกล้ 1 เน้นย้ำถึงอะไร

ความเกี่ยวข้องของน้ำหนักแลมบ์ดา ใกล้ 1 คำว่าความเกี่ยวข้องมีอิทธิพลเหนือ ในขณะที่ใกล้ 0 คำว่าความหลากหลาย (ความคล้ายคลึงกันต่ำ) มีอิทธิพลเหนือ

MMR เลือกผลลัพธ์อย่างไร?

MMR เป็นวิธีการทำซ้ำอย่างละโมบ: การเลือกแต่ละครั้งจะเพิ่มความเกี่ยวข้องสูงสุด ลบด้วยความคล้ายคลึงสูงสุดกับรายการที่เลือกไว้แล้ว

How can an embedding-based MMR implementation measure query relevance and document redundancy?

The general algorithm permits suitable similarity functions; cosine is a common choice for vector representations.

เหตุใด MMR จึงมีประโยชน์อย่างยิ่งในการสร้างการเรียกข้อมูลเสริม (RAG)

ด้วยการกระจายชิ้นส่วนที่ดึงมา MMR ช่วยให้แบบจำลองเห็นหลักฐานที่หลากหลาย แทนที่จะเห็นข้อเท็จจริงเดียวกันซ้ำๆ เพื่อปรับปรุงความครอบคลุม

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →