Cos'è la Miscela di Esperti (MoE)? Definizione | AI Understanding

Definizione

Un'architettura con sottoreti specializzate in cui funzionano solo esperti selezionati per input.

Termini correlati

Classificazione

Un'attività in cui un modello assegna un input a una o più categorie predefinite.

Attenzione alla finestra scorrevole

Un modello di attenzione in cui ogni token si occupa solo di una finestra di dimensione fissa di token vicini per ridurre il calcolo.

Meccanismo di attenzione

Un componente del modello che si concentra dinamicamente sulle parti rilevanti di un input quando si produce un output.

Catena di pensiero

Uno stile di ragionamento in cui un modello di intelligenza artificiale scompone un problema in passaggi intermedi.

Un'architettura del modello multimodale che apprende rappresentazioni condivise tra testo e immagini.

Le risorse di elaborazione necessarie per addestrare ed eseguire modelli, spesso misurate in FLOPS o ore GPU.

Scopri di più nelle nostre guide gratuite

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

Vedi anche

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

Sfoglia il glossario completo dell'intelligenza artificiale Esplora tutte le guide gratuite sull'intelligenza artificiale