Что такое Контекстное окно?

Процесс разделения текста на токены для ввода модели.

Изменение реальных входных данных с течением времени, которое может ухудшить производительность модели.

Модель, которая может обрабатывать или генерировать несколько типов данных, таких как текст, изображение и аудио.

Метрика языковой модели, измеряющая, насколько модель удивлена ​​истинными следующими токенами.

Входные инструкции и контекст, предоставленные генеративной модели.

Схема внимания, при которой каждый токен обращается только к окну соседних токенов фиксированного размера для сокращения вычислительных ресурсов.