What is Mixture of Experts (MoE)? Definition | AI Understanding

정의

입력당 선택된 전문가만 실행하는 특수 하위 네트워크가 있는 아키텍처입니다.

관련 용어

모델이 하나 이상의 사전 정의된 범주에 입력을 할당하는 작업입니다.

슬라이딩 윈도우 주의

계산을 줄이기 위해 각 토큰이 근처 토큰의 고정 크기 창에만 주의를 기울이는 주의 패턴입니다.

주의 메커니즘

출력을 생성할 때 입력의 관련 부분에 동적으로 초점을 맞추는 모델 구성 요소입니다.

생각의 사슬

AI 모델이 문제를 중간 단계로 분해하는 추론 스타일입니다.

텍스트와 이미지 간의 공유 표현을 학습하는 다중 모드 모델 아키텍처입니다.

모델을 훈련하고 실행하는 데 필요한 처리 리소스는 FLOPS 또는 GPU 시간으로 측정되는 경우가 많습니다.

무료 가이드에서 자세히 알아보세요

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

See also

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

전체 AI 용어집 찾아보기 무료 AI 가이드 모두 살펴보기