語言人工智慧指南

混合代理聚合

混合代理 (MoA) 是一種技術,其中多個語言模型起草答案,然後聚合器模型將它們的最佳想法整合到一個改進的回應中。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 混合代理聚合的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

它讓開放模型團隊可以與單一頂級模型競爭或擊敗。

深入探討

Together AI 在 2024 年發表的一篇論文中介紹了 Mixture-of-Agents,它將多個 LLM 組織成多個層。在第一層中,幾個「提議者」模型各自獨立地回答提示。然後,它們的輸出被連接並傳遞到下一層,模型再次響應,現在以所有先前的草稿為條件。經過一輪或多輪這樣的回合後,最終的「聚合器」模型將所有內容綜合為一個答案。作者稱之為「法學碩士的協作性」的核心見解是,當向同行展示答案時,模型會產生更好的回應,即使是不完美的答案。據報道,在 AlpacaEval 2.0 基準測試中,完全由開源模型構建的 MoA 超過了 GPT-4 Omni 的分數,這表明多種、更便宜的模型的仔細聚合可以擊敗單一前沿系統。

現實世界的實施

結合三種不同的開放聊天模式作為提議者,然後使用強大的聚合器產生一份精美的客戶支援回應。

僅使用開源模型提高 AlpacaEval 式基準測試中的指令遵循分數。

將多個模型的不同程式碼建議融合到一個更強大的函數實作中。

運行開放權重管道,該管道接近隱私敏感部署的前沿質量,其中資料無法離開公司的伺服器。

混合代理聚合的未來

隨著推理成本的降低和編排框架的成熟,預計 MoA 式聚合將會普及。研究方向包括了解每個查詢(路由)信任哪些提議者,透過並行運行提議者並儘早修剪弱提議者來減少延遲損失,以及將 MoA 與使用工具的代理相結合,以便聚合器不僅融合文本,還融合操作和檢索到的證據。隨著開放模型的激增,智慧地整合它們成為一種越來越實用的途徑,無需使用單一的巨型模型即可達到前沿品質。

付諸實踐

為什麼這很重要

  • 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
  • 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
  • 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。

留意

  • 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
  • 及時的敏感性可能會在類似的請求中產生不一致的結果。
  • 如果存取控制薄弱,敏感文字資料可能會暴露。

後續步驟

  1. 在推出之前定義輸出格式、語氣和品質標準。
  2. 當準確性很重要時,請使用可信任來源進行地面回應。
  3. 為高風險輸出保留人工審查檢查點。
  4. 追蹤故障模式並定期重新訓練提示或工作流程。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 Mixture-of-Agents Aggregation 測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是混合代理聚合?

混合代理 (MoA) 是一種技術,其中多個語言模型起草答案,然後聚合器模型將它們的最佳想法整合到一個改進的回應中。它讓開放模型團隊可以與單一頂級模型競爭或擊敗。

在混合代理中,聚合器模型的作用是什麼?

聚合器讀取所有候選答案並產生一個融合的、更高品質的答案。

MoA 論文依賴法學碩士的哪些關鍵屬性?

作者觀察到,當以其他模型的草稿為條件時,模型會改進他們的答案,即使是不完美的草稿。

農業部與簡單多數投票有何不同?

與投票不同的是,MoA 不僅僅選擇一個現有的答案;而是選擇一個現有的答案。它會產生一種新的反應,將候選人融合在一起。

為什麼提議者模型的多樣性在 MoA 中很有價值?

不同的提議者涵蓋了更多的領域,為聚合器提供了更豐富的想法來融合和過濾錯誤。

MoA 方法的主要實際成本是多少?

每一層都會增加更多的 LLM 調用,因此 MoA 需要額外的計算和時間來提高答案品質。