학습 뉴스 도구 채용 미션

AI 용어집

전문가 혼합(MoE)(이)란?

정의

입력당 선택된 전문가만 실행하는 특수 하위 네트워크가 있는 아키텍처입니다.

전체 AI 용어집 찾아보기 무료 AI 가이드 모두 살펴보기

분류모델이 하나 이상의 사전 정의된 범주에 입력을 할당하는 작업입니다.슬라이딩 윈도우 주의계산을 줄이기 위해 각 토큰이 근처 토큰의 고정 크기 창에만 주의를 기울이는 주의 패턴입니다.주의 메커니즘출력을 생성할 때 입력의 관련 부분에 동적으로 초점을 맞추는 모델 구성 요소입니다.생각의 사슬AI 모델이 문제를 중간 단계로 분해하는 추론 스타일입니다.클립텍스트와 이미지 간의 공유 표현을 학습하는 다중 모드 모델 아키텍처입니다.컴퓨팅모델을 훈련하고 실행하는 데 필요한 처리 리소스는 FLOPS 또는 GPU 시간으로 측정되는 경우가 많습니다.

무료 가이드에서 자세히 알아보세요

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

또한보십시오

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model