Термин от речника на AI

Какво е Светкавично внимание?

Определение

Оптимизиран алгоритъм за внимание, който намалява използването на паметта и ускорява обучението на трансформатора и изводите.

Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI

Свързани термини

Магазин за функцииУправлявана система за съхраняване и обслужване на валидирани ML функции последователно за обучение и изводи.Обратно разпространениеОсновният алгоритъм за обучение, който актуализира теглата на модела чрез разпространение на грешките при прогнозиране назад през мрежата.Моделно квантуванеНамаляване на числената точност на теглата на модела, за да се намалят разходите за памет и изводи.ТрансформаторНевронна архитектура, която използва внимание, за да моделира паралелни връзки между последователности.Загуба на обучениеСтойността на грешката на модела, изчислена по време на обучение и оптимизирана надолу с времето.Внимание с няколко главиТрансформиращ механизъм, който изпълнява няколко операции на вниманието паралелно, за да улови различни типове взаимоотношения.

Научете повече в нашите безплатни ръководства

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Вижте също

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop