Термин от речника на AI

Какво е Светкавично внимание?

Определение

Оптимизиран алгоритъм за внимание, който намалява използването на паметта и ускорява обучението на трансформатора и изводите.

Свързани термини

Магазин за функции
Управлявана система за съхраняване и обслужване на валидирани ML функции последователно за обучение и изводи.
Обратно разпространение
Основният алгоритъм за обучение, който актуализира теглата на модела чрез разпространение на грешките при прогнозиране назад през мрежата.
Моделно квантуване
Намаляване на числената точност на теглата на модела, за да се намалят разходите за памет и изводи.
Трансформатор
Невронна архитектура, която използва внимание, за да моделира паралелни връзки между последователности.
Загуба на обучение
Стойността на грешката на модела, изчислена по време на обучение и оптимизирана надолу с времето.
Внимание с няколко глави
Трансформиращ механизъм, който изпълнява няколко операции на вниманието паралелно, за да улови различни типове взаимоотношения.

Научете повече в нашите безплатни ръководства

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

See also

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop
Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI