Termin ze słownika AI

Czym jest Uwaga wielogłowa?

Definicja

Mechanizm transformatorowy, który wykonuje równolegle kilka operacji uwagi w celu uchwycenia różnych typów relacji.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

TransformatorArchitektura neuronowa, która skupia uwagę na równoległym modelowaniu relacji między sekwencjami.Pobieranie wielu zapytańTechnika wyszukiwania polegająca na przepisaniu zapytania użytkownika na kilka wariantów w celu lepszego zapamiętywania.Mechanizm uwagiKomponent modelu, który podczas tworzenia wyniku dynamicznie koncentruje się na odpowiednich częściach danych wejściowych.Błyskawiczna uwagaZoptymalizowany algorytm uwagi, który zmniejsza zużycie pamięci i przyspiesza uczenie i wnioskowanie transformatora.Model multimodalnyModel, który może przetwarzać lub generować wiele typów danych, takich jak tekst, obraz i dźwięk.Graf wiedzyStruktura wykresu jednostek i relacji używana do wnioskowania lub wyszukiwania.

Dowiedz się więcej z naszych bezpłatnych przewodników

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

Zobacz także

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct