Thuật ngữ thuật ngữ AI

Hỗn hợp các chuyên gia (MoE) là gì?

Định nghĩa

Một kiến trúc với các mạng con chuyên biệt, nơi chỉ các chuyên gia được chọn mới chạy trên mỗi đầu vào.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

Phân loạiNhiệm vụ trong đó mô hình gán đầu vào cho một hoặc nhiều danh mục được xác định trước.Cửa sổ trượt Chú ýMột mẫu chú ý trong đó mỗi mã thông báo chỉ tham gia vào một cửa sổ có kích thước cố định của các mã thông báo lân cận để giảm tính toán.Cơ chế chú ýMột thành phần mô hình tập trung động vào các phần có liên quan của đầu vào khi tạo ra đầu ra.Chuỗi suy nghĩMột phong cách lý luận trong đó mô hình AI phân tích vấn đề thành các bước trung gian.KẸPMột kiến trúc mô hình đa phương thức học cách biểu diễn chung giữa văn bản và hình ảnh.Tính toánCác tài nguyên xử lý cần thiết để đào tạo và chạy các mô hình, thường được đo bằng FLOPS hoặc số giờ GPU.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Expert Parallelism for MoE ServingMixture-of-Agents AggregationMixture of DepthsMixture of LoRA Experts

Xem thêm

Memory (Agent Memory)Model CardMachine Learning (ML)Model DriftLoss FunctionModel QuantizationLoRA (Low-Rank Adaptation)Multimodal Model