혼합 및 희소 모델
Mixtral은 작은 모델 속도로 큰 모델 품질을 제공하는 Mistral AI의 개방형 전문가 혼합 모델입니다.
개요
Sparse models like it activate only a fraction of their parameters per token, cutting compute without sacrificing capability.
심층 분석
Mistral AI가 2023년 후반에 출시한 Mixtral 8x7B는 개방형 모델에서 희소 전문가 혼합(MoE) 접근 방식을 대중화했습니다. 여기에는 레이어당 8개의 개별 '전문가' 피드포워드 네트워크가 포함되어 있으며 총 매개변수는 약 470억 개이지만 경량 라우터는 각 토큰에 대해 전문가 두 명만 선택합니다. 결과적으로 토큰당 약 130억 개의 매개변수만 활성화되므로 추론은 13B 밀도 모델만큼 빠르게 실행되는 동시에 훨씬 더 큰 모델과 비슷한 품질에 도달합니다. Mixtral은 많은 벤치마크에서 GPT-3.5 및 Llama 2 70B와 일치하거나 이겼으며 더 빠르고 저렴하게 서비스를 제공했습니다. Mistral은 나중에 Mixtral 8x22B를 출시했습니다. 이 모델은 Apache 2.0에 따라 공개적으로 라이센스가 부여되어 오픈 소스 커뮤니티에서 신속한 채택과 미세 조정을 촉진합니다.
기술적 통찰력
희소 MoE 계층에서는 조밀한 피드포워드 블록이 N개의 전문가 네트워크와 작은 게이팅 네트워크(라우터)로 대체됩니다. 각 토큰에 대해 라우터는 점수를 계산하고 상위 k 전문가(Mixtral의 상위 2개)를 선택하여 해당 전문가를 통해서만 토큰을 라우팅합니다. 출력에 가중치가 부여되고 합산됩니다. 대부분의 전문가는 토큰당 유휴 상태를 유지하기 때문에 모델은 메모리에 많은 매개변수를 보유하지만 훨씬 적은 계산을 수행합니다. 트레이드오프: 일부만 실행되더라도 모든 전문가를 VRAM에 로드해야 합니다.
전략적 영향
비용 및 예산
아키텍처 결정은 수년 동안 성능과 운영 비용을 결정합니다.
더 명확한 결정들
기술 교육은 팀이 최신 스택뿐만 아니라 올바른 스택을 선택하는 데 도움이 됩니다.
품질 관리
더 나은 엔지니어링 선택은 생산 시 신뢰성 사고를 줄입니다.
Mixtral 및 Sparse 모델의 미래
Sparse MoE는 이제 프론티어 AI의 핵심입니다. 더욱 개방적인 MoE 릴리스, 많은 소규모 전문가와의 세분화된 라우팅, 효율성을 더욱 향상시키는 공유 또는 하이브리드 전문가 설계를 기대합니다. 모델이 수조 개의 총 매개변수로 확장됨에 따라 희소성은 추론을 저렴하게 유지하는 주요 수단입니다. 연구에서는 MoE의 약점, 전문가 간의 로드 밸런싱, 메모리 오버헤드 및 교육 안정성을 해결하는 동시에 하드웨어 및 서빙 스택이 전문가 라우팅을 위해 점점 더 최적화되고 있습니다.
실제 구현
훨씬 작은 밀도 모델의 비용과 속도로 고품질 챗봇 제공
사용료 없이 상용 제품에 대한 Apache-2.0 라이센스 모델을 자체 호스팅합니다.
코딩, 요약 또는 다국어 작업을 위해 Mixtral에서 개별 행동을 미세 조정합니다.
70B 밀도 모델이 너무 느린 단일 다중 GPU 서버에서 빠른 추론 실행
위험 및 가드레일
하나의 벤치마크를 최적화하면 더 광범위한 시스템 약점을 숨길 수 있습니다.
인프라 및 유지 관리 비용은 종종 과소평가됩니다.
시스템이 더욱 복잡해짐에 따라 보안 및 관찰 가능성의 격차가 커질 수 있습니다.
구현 로드맵
구현하기 전에 지연 시간, 품질, 비용 목표를 정의하세요.
현실적인 로드 및 데이터 조건에서 벤치마킹합니다.
오류, 드리프트 및 사용자 영향에 대한 계측기 모니터링.
확장하기 전에 롤백 및 사고 대응 경로를 준비하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixtral and Sparse Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
모델 및 파이프라인 병렬성
자주 묻는 질문
What is Mixtral and Sparse Models?
Mixtral은 작은 모델 속도로 큰 모델 품질을 제공하는 Mistral AI의 개방형 전문가 혼합 모델입니다. 이와 같은 희소 모델은 토큰당 매개변수의 일부만 활성화하여 기능을 희생하지 않고 컴퓨팅을 줄입니다.
Mixtral 8x7B에서 각 개별 토큰을 처리하는 전문가는 몇 명입니까?
Mixtral은 상위 2개 라우팅을 사용합니다. 라우터는 각 토큰을 처리할 전문가 8명 중 2명을 선택합니다.
토큰이 어떤 전문가에게 전송되는지 결정하는 구성 요소는 무엇입니까?
라우터라고 불리는 작은 게이팅 네트워크는 전문가의 점수를 매기고 각 토큰을 처리할 전문가를 선택합니다.
Mixtral 8x7B에는 약 470억 개의 총 매개변수가 있지만 토큰당 활성 매개변수는 대략 몇 개입니까?
토큰당 전문가 두 명만 실행되기 때문에 약 130억 개의 매개변수가 활성화되어 훨씬 작은 모델의 속도를 제공합니다.
Mixtral과 같은 희소 MoE 모델의 주요 절충점은 무엇입니까?
MoE는 토큰당 컴퓨팅을 절약하지만 여전히 모든 전문가를 VRAM에 보유해야 하므로 메모리 요구량이 증가합니다.
Mistral AI는 어떤 라이선스로 Mixtral을 출시하여 공개 채택을 촉진했나요?
Mixtral은 허용적인 Apache 2.0 라이센스에 따라 출시되어 무료 상업적 사용과 미세 조정이 가능했습니다.