Обучение Новини Инструм.Работни места Мисия

Термин от речника на AI

Какво е Подрязване?

Определение

Премахване на по-малко важни тегла на модела или неврони за намаляване на размера и изчисление.

Разгледайте пълния AI речник Разгледайте всички безплатни ръководства за AI

Плъзгащ се прозорец ВниманиеМодел на внимание, при който всеки токен обръща внимание само на прозорец с фиксиран размер от близки токени, за да намали изчисленията.Закон за мащабиранеЕмпирична връзка, показваща как производителността се подобрява с размера на модела, данните или изчисленията.Дестилиран моделПо-малък модел, обучен да имитира поведението на по-голям модел, като същевременно използва по-малко изчисления при извод.Обратно разпространениеОсновният алгоритъм за обучение, който актуализира теглата на модела чрез разпространение на грешките при прогнозиране назад през мрежата.ИзчислетеРесурсите за обработка, необходими за обучение и изпълнение на модели, често измервани във FLOPS или GPU часове.ГрадиентВектор, показващ колко трябва да се промени всеки параметър, за да се намалят загубите.

Научете повече в нашите безплатни ръководства

Attention Rollout and Head Pruning Structured Pruning and Layer Dropping Model Pruning

Вижте също

Prompt Injection Quantization Prompt Engineering RAG (Retrieval-Augmented Generation)Prompt Recall Pretraining Recommendation System