Belajar Berita Alat Lowongan Misi

Istilah Glosarium AI

Apa itu Campuran Ahli (MoE)?

Definisi

Arsitektur dengan subjaringan khusus yang hanya menjalankan pakar terpilih untuk setiap masukan.

Jelajahi Glosarium AI selengkapnya Jelajahi semua panduan AI gratis

KlasifikasiTugas di mana model memberikan masukan ke satu atau lebih kategori yang telah ditentukan sebelumnya.Perhatian Jendela GeserPola perhatian di mana setiap token hanya memperhatikan jendela berukuran tetap dari token terdekat untuk mengurangi komputasi.Mekanisme PerhatianKomponen model yang secara dinamis berfokus pada bagian masukan yang relevan saat menghasilkan keluaran.Rantai PemikiranGaya penalaran di mana model AI menguraikan masalah menjadi langkah-langkah perantara.KLIPArsitektur model multimodal yang mempelajari representasi bersama antara teks dan gambar.HitungSumber daya pemrosesan yang diperlukan untuk melatih dan menjalankan model, sering kali diukur dalam jam FLOPS atau GPU.

Pelajari lebih lanjut di panduan gratis kami

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

Lihat juga

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model