Термін глосарію AI

Що таке Багатостороння увага?

Визначення

Механізм трансформатора, який виконує декілька операцій уваги паралельно, щоб охопити різні типи зв’язків.

Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту

Споріднені терміни

трансформаторНейронна архітектура, яка використовує увагу для паралельного моделювання зв’язків між послідовностями.Отримання кількох запитівТехніка пошуку, яка переписує запит користувача на кілька варіантів для покращення запам’ятовування.Механізм увагиКомпонент моделі, який динамічно фокусується на відповідних частинах вхідних даних під час створення виходу.Спалах увагиОптимізований алгоритм концентрації уваги, який зменшує використання пам’яті та прискорює навчання трансформатора та логічні висновки.Мультимодальна модельМодель, яка може обробляти або генерувати кілька типів даних, таких як текст, зображення та аудіо.Граф знаньСтруктура графа сутностей і зв’язків, які використовуються для міркувань або пошуку.

Дізнайтеся більше в наших безкоштовних посібниках

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

Дивіться також

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct