Глоссарий терминов искусственного интеллекта

Что такое Вспышка внимания?

Определение

Оптимизированный алгоритм внимания, который уменьшает использование памяти и ускоряет обучение и вывод преобразователей.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

Магазин функцийУправляемая система для последовательного хранения и предоставления проверенных функций машинного обучения для обучения и вывода.Обратное распространение ошибкиОсновной алгоритм обучения, который обновляет веса модели путем распространения ошибок прогнозирования обратно по сети.Квантование моделиСнижение числовой точности весов модели для уменьшения затрат на память и логические выводы.ТрансформаторНейронная архитектура, которая использует внимание для параллельного моделирования отношений между последовательностями.Потеря тренировкиЗначение ошибки модели вычисляется во время обучения и со временем оптимизируется в сторону уменьшения.Многоголовое вниманиеМеханизм-преобразователь, который параллельно выполняет несколько операций внимания для фиксации различных типов отношений.

Узнайте больше в наших бесплатных руководствах.

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

См. также

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop