Что такое обрезка?

Схема внимания, при которой каждый токен обращается только к окну соседних токенов фиксированного размера для сокращения вычислительных ресурсов.

Эмпирическая зависимость, показывающая, как производительность повышается с увеличением размера модели, данных или вычислений.

Меньшая модель обучена имитировать поведение более крупной модели, используя при этом меньше вычислений.

Основной алгоритм обучения, который обновляет веса модели путем распространения ошибок прогнозирования обратно по сети.

Ресурсы обработки, необходимые для обучения и запуска моделей, часто измеряются в FLOPS или часах графического процессора.

Вектор, показывающий, насколько должен измениться каждый параметр, чтобы уменьшить потери.