개요
이를 통해 개방형 모델 팀이 단일 최상위 모델과 경쟁하거나 이길 수 있습니다.
심층 분석
Together AI의 2024년 논문에 소개된 Mixture-of-Agents는 여러 LLM을 레이어로 구성합니다. 첫 번째 계층에서는 여러 '제안자' 모델이 각각 독립적으로 프롬프트에 응답합니다. 그런 다음 출력은 연결되어 다음 레이어로 전달되며, 여기서 모델은 다시 응답하며 이제 모든 이전 초안을 조건으로 합니다. 이러한 라운드를 한 번 이상 수행한 후 최종 '집합자' 모델은 모든 것을 단일 답변으로 종합합니다. 저자가 'LLM의 협력성'이라고 부르는 핵심 통찰력은 모델이 동료의 답변, 심지어 불완전한 답변을 표시할 때 더 나은 응답을 생성한다는 것입니다. AlpacaEval 2.0 벤치마크에서 완전히 오픈 소스 모델로 구축된 MoA는 GPT-4 Omni의 점수를 능가한 것으로 알려졌으며, 이는 다양하고 저렴한 모델을 주의 깊게 집계하면 단일 프론티어 시스템을 능가할 수 있음을 보여줍니다.
실제 구현
세 가지 오픈 채팅 모델을 제안자로 결합한 다음 강력한 수집기를 사용하여 하나의 세련된 고객 지원 답변을 생성합니다.
오픈 소스 모델만을 사용하여 AlpacaEval 스타일 벤치마크에서 지시 따르기 점수를 높입니다.
여러 모델의 다양한 코드 제안을 보다 강력한 단일 기능 구현으로 융합합니다.
데이터가 회사 서버를 떠날 수 없는 개인 정보 보호 배포를 위해 최전선 품질에 접근하는 개방형 가중치 파이프라인을 실행합니다.
혼합제 집합의 미래
추론이 저렴해지고 오케스트레이션 프레임워크가 성숙해짐에 따라 MoA 스타일 집계가 확산될 것으로 예상됩니다. 연구 방향에는 쿼리(라우팅)별로 어떤 제안자가 신뢰할 것인지 학습하고, 제안자를 병렬로 실행하고 약한 제안을 조기에 정리하여 대기 시간 패널티를 줄이고, MoA를 도구 사용 에이전트와 결합하여 수집자가 텍스트뿐만 아니라 작업과 검색된 증거를 융합하는 것이 포함됩니다. 개방형 모델이 확산됨에 따라 이를 지능적으로 앙상블하는 것은 단일 거대 모델 없이 최전선 수준의 품질을 향한 점점 더 실용적인 경로가 되고 있습니다.
실천에 옮기기
왜 중요한가요?
- 속도와 규모. 일관성을 유지하면서 언어 워크플로를 더 빠르게 진행할 수 있습니다.
- 접근 및 도달. 언어와 의사소통 스타일 전반에 걸쳐 접근성을 확장합니다.
- 더 명확한 결정들. 자동화가 반복을 처리하는 동안 팀은 판단에 더 많은 시간을 할애할 수 있습니다.
조심하세요
- 환각 사실은 보고서, 지원 흐름 또는 연구 결과에 조용히 포함될 수 있습니다.
- 신속한 민감도는 유사한 요청 간에 일관되지 않은 결과를 초래할 수 있습니다.
- 액세스 제어가 약한 경우 민감한 텍스트 데이터가 노출될 수 있습니다.
다음 단계
- 출시 전에 출력 형식, 톤, 품질 표준을 정의하세요.
- 정확성이 중요할 때마다 신뢰할 수 있는 출처를 통해 대응하세요.
- 고위험 결과물에 대한 인적 검토 체크포인트를 유지합니다.
- 실패 패턴을 추적하고 프롬프트나 워크플로를 정기적으로 재교육하세요.
계속 탐색하세요
무료 뉴스레터
일일 AI 브리핑 받기
매주 평일 아침마다 3개의 검증된 AI 스토리를 일반 영어로 작성합니다. 무료이며, 광고 없음.
매주 평일마다 한 번 이메일을 받습니다. 한 번 클릭으로 구독 해지. 주소를 판매하거나 공유하지 않습니다.
자신을 테스트해 보세요
Take the Mixture-of-Agents Aggregation quiz
모든 답변에 즉각적인 피드백과, 과정을 통과하면 검증 가능한 ID가 있는 공유 가능한 인증서를 제공합니다.
무료 AI 교육을 지원합니다. AI Understanding는 501(c)(3) 비영리 단체입니다 — 광고 없음, 유료 장벽 없음, 영원히. 기부하기
자주 묻는 질문
에이전트 혼합물 집계란 무엇입니까?
MoA(Mixture-of-Agents)는 여러 언어 모델이 답변 초안을 작성한 다음 수집자 모델이 최상의 아이디어를 하나의 개선된 응답으로 융합하는 기술입니다. 이를 통해 개방형 모델 팀이 단일 최상위 모델과 경쟁하거나 이길 수 있습니다.
Mixture-of-Agents에서 수집자 모델의 역할은 무엇입니까?
집계자는 모든 후보 응답을 읽고 하나의 융합된 고품질 답변을 생성합니다.
MoA 논문이 의존하는 LLM의 주요 속성은 무엇입니까?
저자는 다른 모델의 초안, 심지어 불완전한 초안을 조건으로 하면 모델이 답변을 향상시키는 것을 관찰합니다.
MoA는 단순다수투표와 어떻게 다른가요?
MoA는 투표와 달리 기존 답변을 하나만 선택하는 것이 아닙니다. 후보자를 혼합하는 새로운 응답을 생성합니다.
MoA에서 제안자 모델 간의 다양성이 왜 중요한가요?
다양한 제안자는 더 많은 영역을 다루므로 수집자에게 융합할 더 풍부한 아이디어 세트와 필터링할 오류를 제공합니다.
MoA 접근법의 주요 실제 비용은 얼마입니까?
각 레이어는 더 많은 LLM 호출을 추가하므로 MoA는 향상된 답변 품질을 위해 추가 컴퓨팅과 시간을 교환합니다.