Навчання Новини Інструм.Вакансії Місія

Термін глосарію AI

Що таке Обрізка?

Визначення

Видалення менш важливих ваг моделі або нейронів для зменшення розміру та обчислень.

Перегляньте повний Глосарій ШІ Перегляньте всі безкоштовні посібники зі штучного інтелекту

Розсувне вікно УвагаШаблон уваги, де кожен маркер звертається лише до вікна фіксованого розміру сусідніх маркерів, щоб зменшити обчислення.Закон масштабуванняЕмпіричний зв’язок, який показує, як покращується продуктивність із розміром моделі, даними чи обчисленнями.Дистильована модельМенша модель, навчена імітувати поведінку більшої моделі, використовуючи менше обчислень для висновку.Зворотне поширенняОсновний навчальний алгоритм, який оновлює вагові коефіцієнти моделі шляхом передачі помилок передбачення назад через мережу.ОбчислитиРесурси обробки, необхідні для навчання та запуску моделей, часто вимірюються в FLOPS або годинах GPU.ГрадієнтВектор, що показує, наскільки має змінитися кожен параметр, щоб зменшити втрати.

Дізнайтеся більше в наших безкоштовних посібниках

Attention Rollout and Head Pruning Structured Pruning and Layer Dropping Model Pruning

Дивіться також

Prompt Injection Quantization Prompt Engineering RAG (Retrieval-Augmented Generation)Prompt Recall Pretraining Recommendation System