What is Mixture of Experts (MoE)? Definition | AI Understanding

Definisi

Seni bina dengan subrangkaian khusus yang hanya pakar terpilih dijalankan setiap input.

Istilah berkaitan

Tugas di mana model memberikan input kepada satu atau lebih kategori yang dipratentukan.

Perhatian Tingkap Gelongsor

Corak perhatian di mana setiap token hadir hanya pada tetingkap saiz tetap token berdekatan untuk mengurangkan pengiraan.

Mekanisme Perhatian

Komponen model yang memfokus secara dinamik pada bahagian input yang berkaitan apabila menghasilkan output.

Rantaian Pemikiran

Gaya penaakulan di mana model AI menguraikan masalah kepada langkah perantaraan.

Seni bina model multimodal yang mempelajari perwakilan yang dikongsi antara teks dan imej.

Sumber pemprosesan yang diperlukan untuk melatih dan menjalankan model, selalunya diukur dalam jam FLOPS atau GPU.

Ketahui lebih lanjut dalam panduan percuma kami

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

See also

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma