Термін глосарію AI

Що є Спалах уваги?

Визначення

Оптимізований алгоритм концентрації уваги, який зменшує використання пам’яті та прискорює навчання трансформатора та логічні висновки.

Споріднені терміни

Магазин функцій
Керована система для постійного зберігання та надання підтверджених функцій машинного навчання для навчання та висновків.
Зворотне поширення
Основний навчальний алгоритм, який оновлює вагові коефіцієнти моделі шляхом передачі помилок передбачення назад через мережу.
Квантування моделі
Зменшення чисельної точності вагових коефіцієнтів моделі для зменшення вартості пам’яті та висновків.
трансформатор
Нейронна архітектура, яка використовує увагу для паралельного моделювання зв’язків між послідовностями.
Втрата навчання
Значення помилки моделі, обчислене під час навчання та оптимізоване у бік зменшення з часом.
Багатостороння увага
Механізм трансформатора, який виконує декілька операцій уваги паралельно, щоб охопити різні типи зв’язків.

Дізнайтеся більше в наших безкоштовних посібниках

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

See also

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop
Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту