Що є Обрізка?

Шаблон уваги, де кожен маркер звертається лише до вікна фіксованого розміру сусідніх маркерів, щоб зменшити обчислення.

Емпіричний зв’язок, який показує, як покращується продуктивність із розміром моделі, даними чи обчисленнями.

Менша модель, навчена імітувати поведінку більшої моделі, використовуючи менше обчислень для висновку.

Основний навчальний алгоритм, який оновлює вагові коефіцієнти моделі шляхом передачі помилок передбачення назад через мережу.

Ресурси обробки, необхідні для навчання та запуску моделей, часто вимірюються в FLOPS або годинах GPU.

Вектор, що показує, наскільки має змінитися кожен параметр, щоб зменшити втрати.