에이전트 혼합물 집계
MoA(Mixture-of-Agents)는 여러 언어 모델이 답변 초안을 작성한 다음 수집자 모델이 최상의 아이디어를 하나의 개선된 응답으로 융합하는 기술입니다.
개요
It lets a team of open models rival or beat a single top-tier model.
심층 분석
Together AI의 2024년 논문에 소개된 Mixture-of-Agents는 여러 LLM을 레이어로 구성합니다. 첫 번째 계층에서는 여러 '제안자' 모델이 각각 독립적으로 프롬프트에 응답합니다. 그런 다음 출력은 연결되어 다음 레이어로 전달되며, 여기서 모델은 다시 응답하며 이제 모든 이전 초안을 조건으로 합니다. 이러한 라운드를 한 번 이상 수행한 후 최종 '집합자' 모델은 모든 것을 단일 답변으로 종합합니다. 저자가 'LLM의 협력성'이라고 부르는 핵심 통찰력은 모델이 동료의 답변, 심지어 불완전한 답변을 표시할 때 더 나은 응답을 생성한다는 것입니다. AlpacaEval 2.0 벤치마크에서 완전히 오픈 소스 모델로 구축된 MoA는 GPT-4 Omni의 점수를 능가한 것으로 알려졌으며, 이는 다양하고 저렴한 모델을 주의 깊게 집계하면 단일 프론티어 시스템을 능가할 수 있음을 보여줍니다.
기술적 통찰력
MoA는 단순한 다수 투표와 다릅니다. 하나의 답변을 선택하는 대신 집계자는 모든 후보 응답을 컨텍스트로 읽고 새로운 종합을 생성하여 장점을 혼합하고 오류를 필터링합니다. 제안자 간의 다양성이 도움이 되므로 다양한 모델군을 혼합하는 것이 중요합니다. 구조는 각 계층의 '뉴런'이 전체 LLM 호출인 심층 네트워크와 같이 계층화되어 있습니다. 단점은 지연 시간과 비용입니다. 각 계층은 추론 호출 수를 곱하므로 MoA는 품질을 향상하기 위해 더 많은 컴퓨팅을 소비합니다.
전략적 영향
속도와 규모
일관성을 유지하면서 언어 워크플로를 더 빠르게 진행할 수 있습니다.
접근 및 도달
언어와 의사소통 스타일 전반에 걸쳐 접근성을 확장합니다.
더 명확한 결정들
자동화가 반복을 처리하는 동안 팀은 판단에 더 많은 시간을 할애할 수 있습니다.
혼합제 집합의 미래
추론이 저렴해지고 오케스트레이션 프레임워크가 성숙해짐에 따라 MoA 스타일 집계가 확산될 것으로 예상됩니다. 연구 방향에는 쿼리(라우팅)별로 어떤 제안자가 신뢰할 것인지 학습하고, 제안자를 병렬로 실행하고 약한 제안을 조기에 정리하여 대기 시간 패널티를 줄이고, MoA를 도구 사용 에이전트와 결합하여 수집자가 텍스트뿐만 아니라 작업과 검색된 증거를 융합하는 것이 포함됩니다. 개방형 모델이 확산됨에 따라 이를 지능적으로 앙상블하는 것은 단일 거대 모델 없이 최전선 수준의 품질을 향한 점점 더 실용적인 경로가 되고 있습니다.
실제 구현
세 가지 오픈 채팅 모델을 제안자로 결합한 다음 강력한 수집기를 사용하여 하나의 세련된 고객 지원 답변을 생성합니다.
오픈 소스 모델만을 사용하여 AlpacaEval 스타일 벤치마크에서 지시 따르기 점수를 높입니다.
여러 모델의 다양한 코드 제안을 보다 강력한 단일 기능 구현으로 융합합니다.
데이터가 회사 서버를 떠날 수 없는 개인 정보 보호 배포를 위해 최전선 품질에 접근하는 개방형 가중치 파이프라인을 실행합니다.
위험 및 가드레일
환각 사실은 보고서, 지원 흐름 또는 연구 결과에 조용히 포함될 수 있습니다.
신속한 민감도는 유사한 요청 간에 일관되지 않은 결과를 초래할 수 있습니다.
액세스 제어가 약한 경우 민감한 텍스트 데이터가 노출될 수 있습니다.
구현 로드맵
출시 전에 출력 형식, 톤, 품질 표준을 정의하세요.
정확성이 중요할 때마다 신뢰할 수 있는 출처를 통해 대응하세요.
고위험 결과물에 대한 인적 검토 체크포인트를 유지합니다.
실패 패턴을 추적하고 프롬프트나 워크플로를 정기적으로 재교육하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixture-of-Agents Aggregation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
깊이의 혼합
자주 묻는 질문
What is Mixture-of-Agents Aggregation?
MoA(Mixture-of-Agents)는 여러 언어 모델이 답변 초안을 작성한 다음 수집자 모델이 최상의 아이디어를 하나의 개선된 응답으로 융합하는 기술입니다. 이를 통해 개방형 모델 팀이 단일 최상위 모델과 경쟁하거나 이길 수 있습니다.
Mixture-of-Agents에서 수집자 모델의 역할은 무엇입니까?
집계자는 모든 후보 응답을 읽고 하나의 융합된 고품질 답변을 생성합니다.
MoA 논문이 의존하는 LLM의 주요 속성은 무엇입니까?
저자는 다른 모델의 초안, 심지어 불완전한 초안을 조건으로 하면 모델이 답변을 향상시키는 것을 관찰합니다.
MoA는 단순다수투표와 어떻게 다른가요?
MoA는 투표와 달리 기존 답변을 하나만 선택하는 것이 아닙니다. 후보자를 혼합하는 새로운 응답을 생성합니다.
MoA에서 제안자 모델 간의 다양성이 왜 중요한가요?
다양한 제안자는 더 많은 영역을 다루므로 수집자에게 융합할 더 풍부한 아이디어 세트와 필터링할 오류를 제공합니다.
MoA 접근법의 주요 실제 비용은 얼마입니까?
각 레이어는 더 많은 LLM 호출을 추가하므로 MoA는 향상된 답변 품질을 위해 추가 컴퓨팅과 시간을 교환합니다.