Термін глосарію AI

Що таке Спалах уваги?

Визначення

Оптимізований алгоритм концентрації уваги, який зменшує використання пам’яті та прискорює навчання трансформатора та логічні висновки.

Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту

Споріднені терміни

Магазин функційКерована система для постійного зберігання та надання підтверджених функцій машинного навчання для навчання та висновків.Зворотне поширенняОсновний навчальний алгоритм, який оновлює вагові коефіцієнти моделі шляхом передачі помилок передбачення назад через мережу.Квантування моделіЗменшення чисельної точності вагових коефіцієнтів моделі для зменшення вартості пам’яті та висновків.трансформаторНейронна архітектура, яка використовує увагу для паралельного моделювання зв’язків між послідовностями.Втрата навчанняЗначення помилки моделі, обчислене під час навчання та оптимізоване у бік зменшення з часом.Багатостороння увагаМеханізм трансформатора, який виконує декілька операцій уваги паралельно, щоб охопити різні типи зв’язків.

Дізнайтеся більше в наших безкоштовних посібниках

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Дивіться також

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop