What is Mixture of Experts (MoE)? Definition | AI Understanding

Definisi

Arsitektur dengan subjaringan khusus yang hanya menjalankan pakar terpilih untuk setiap masukan.

Istilah terkait

Tugas di mana model memberikan masukan ke satu atau lebih kategori yang telah ditentukan sebelumnya.

Perhatian Jendela Geser

Pola perhatian di mana setiap token hanya memperhatikan jendela berukuran tetap dari token terdekat untuk mengurangi komputasi.

Mekanisme Perhatian

Komponen model yang secara dinamis berfokus pada bagian masukan yang relevan saat menghasilkan keluaran.

Rantai Pemikiran

Gaya penalaran di mana model AI menguraikan masalah menjadi langkah-langkah perantara.

Arsitektur model multimodal yang mempelajari representasi bersama antara teks dan gambar.

Sumber daya pemrosesan yang diperlukan untuk melatih dan menjalankan model, sering kali diukur dalam jam FLOPS atau GPU.

Pelajari lebih lanjut di panduan gratis kami

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

See also

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

Jelajahi Glosarium AI selengkapnya Jelajahi semua panduan AI gratis