Nauka Wiadomości Narzędzia Oferty pracy Misja

Termin ze słownika AI

Czym jest Mieszanka ekspertów (MoE)?

Definicja

Architektura z wyspecjalizowanymi podsieciami, w której na wejściu działają tylko wybrani eksperci.

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI

KlasyfikacjaZadanie, w którym model przypisuje dane wejściowe do jednej lub większej liczby predefiniowanych kategorii.Uwaga na przesuwane oknoWzorzec uwagi, w którym każdy token obsługuje tylko okno pobliskich tokenów o stałym rozmiarze, aby zmniejszyć obliczenia.Mechanizm uwagiKomponent modelu, który podczas tworzenia wyniku dynamicznie koncentruje się na odpowiednich częściach danych wejściowych.Łańcuch myśliStyl rozumowania, w którym model sztucznej inteligencji rozkłada problem na etapy pośrednie.KLIPSArchitektura modelu multimodalnego, która uczy się wspólnych reprezentacji tekstu i obrazów.ObliczZasoby przetwarzania wymagane do uczenia i uruchamiania modeli, często mierzone w FLOPS lub godzinach GPU.

Dowiedz się więcej z naszych bezpłatnych przewodników

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

Zobacz także

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model