What is Pruning? Definition | AI Understanding

Определение

Премахване на по-малко важни тегла на модела или неврони за намаляване на размера и изчисление.

Свързани термини

Плъзгащ се прозорец Внимание

Модел на внимание, при който всеки токен обръща внимание само на прозорец с фиксиран размер от близки токени, за да намали изчисленията.

Закон за мащабиране

Емпирична връзка, показваща как производителността се подобрява с размера на модела, данните или изчисленията.

Дестилиран модел

По-малък модел, обучен да имитира поведението на по-голям модел, като същевременно използва по-малко изчисления при извод.

Обратно разпространение

Основният алгоритъм за обучение, който актуализира теглата на модела чрез разпространение на грешките при прогнозиране назад през мрежата.

Изчислете

Ресурсите за обработка, необходими за обучение и изпълнение на модели, често измервани във FLOPS или GPU часове.

Градиент

Вектор, показващ колко трябва да се промени всеки параметър, за да се намалят загубите.

Научете повече в нашите безплатни ръководства

Attention Rollout and Head Pruning Structured Pruning and Layer Dropping Model Pruning

See also

Prompt Injection Quantization Prompt Engineering RAG (Retrieval-Augmented Generation)Prompt Recall Pretraining Recommendation System

Разгледайте пълния AI речник Разгледайте всички безплатни ръководства за AI