Глоссарий терминов искусственного интеллекта

Что такое обрезка?

Определение

Удаление менее важных весов модели или нейронов для уменьшения размера и объема вычислений.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

Раздвижное окно ВниманиеСхема внимания, при которой каждый токен обращается только к окну соседних токенов фиксированного размера для сокращения вычислительных ресурсов.Закон масштабированияЭмпирическая зависимость, показывающая, как производительность повышается с увеличением размера модели, данных или вычислений.Дистиллированная модельМеньшая модель обучена имитировать поведение более крупной модели, используя при этом меньше вычислений.Обратное распространение ошибкиОсновной алгоритм обучения, который обновляет веса модели путем распространения ошибок прогнозирования обратно по сети.ВычислитьРесурсы обработки, необходимые для обучения и запуска моделей, часто измеряются в FLOPS или часах графического процессора.ГрадиентВектор, показывающий, насколько должен измениться каждый параметр, чтобы уменьшить потери.

Узнайте больше в наших бесплатных руководствах.

Attention Rollout and Head PruningStructured Pruning and Layer DroppingModel Pruning

См. также

Prompt InjectionQuantizationPrompt EngineeringRAG (Retrieval-Augmented Generation)PromptRecallPretrainingRecommendation System