Termen de glosar AI

Ce este Amestec de experți (MoE)?

Definiție

O arhitectură cu subrețele specializate în care doar experții selectați rulează per intrare.

Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite

Termeni înrudiți

ClasificareO sarcină în care un model atribuie o intrare uneia sau mai multor categorii predefinite.Atenție fereastră glisantăUn model de atenție în care fiecare jeton se ocupă doar de o fereastră de dimensiune fixă a jetonelor din apropiere pentru a reduce calculul.Mecanismul de atențieO componentă de model care se concentrează dinamic asupra părților relevante ale unei intrări atunci când produce o ieșire.Lanțul-GândiriiUn stil de raționament în care un model AI descompune o problemă în pași intermediari.CLIPO arhitectură model multimodală care învață reprezentări partajate între text și imagini.CalculaResursele de procesare necesare pentru antrenarea și rularea modelelor, adesea măsurate în ore FLOPS sau GPU.

Aflați mai multe în ghidurile noastre gratuite

Expert Parallelism for MoE ServingMixture-of-Agents AggregationMixture of DepthsMixture of LoRA Experts

Vezi și

Memory (Agent Memory)Model CardMachine Learning (ML)Model DriftLoss FunctionModel QuantizationLoRA (Low-Rank Adaptation)Multimodal Model