Глоссарий терминов искусственного интеллекта

Что такое Раздвижное окно Внимание?

Определение

Схема внимания, при которой каждый токен обращается только к окну соседних токенов фиксированного размера для сокращения вычислительных ресурсов.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

обрезкаУдаление менее важных весов модели или нейронов для уменьшения размера и объема вычислений.Биллинг на основе использованияЦены, при которых затраты масштабируются в зависимости от вызовов API, токенов, времени вывода или потребляемых вычислительных ресурсов.Закон масштабированияЭмпирическая зависимость, показывающая, как производительность повышается с увеличением размера модели, данных или вычислений.Разреженная модельМодель, в которой многие параметры равны нулю или неактивны для сокращения вычислений.Спекулятивное декодированиеМетод ускорения вывода, при котором небольшая черновая модель предлагает токены, которые параллельно проверяет более крупная модель.Контекстное окноМаксимальное количество входных токенов, которые языковая модель может обработать одновременно.

Узнайте больше в наших бесплатных руководствах.

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

См. также

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW