Hỗn hợp các chuyên gia (MoE) là gì? Định nghĩa | AI Understanding

Định nghĩa

Một kiến trúc với các mạng con chuyên biệt, nơi chỉ các chuyên gia được chọn mới chạy trên mỗi đầu vào.

Điều khoản liên quan

Nhiệm vụ trong đó mô hình gán đầu vào cho một hoặc nhiều danh mục được xác định trước.

Cửa sổ trượt Chú ý

Một mẫu chú ý trong đó mỗi mã thông báo chỉ tham gia vào một cửa sổ có kích thước cố định của các mã thông báo lân cận để giảm tính toán.

Cơ chế chú ý

Một thành phần mô hình tập trung động vào các phần có liên quan của đầu vào khi tạo ra đầu ra.

Chuỗi suy nghĩ

Một phong cách lý luận trong đó mô hình AI phân tích vấn đề thành các bước trung gian.

Một kiến trúc mô hình đa phương thức học cách biểu diễn chung giữa văn bản và hình ảnh.

Các tài nguyên xử lý cần thiết để đào tạo và chạy các mô hình, thường được đo bằng FLOPS hoặc số giờ GPU.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

Xem thêm

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

Duyệt qua Bảng thuật ngữ AI đầy đủ Khám phá tất cả hướng dẫn AI miễn phí