Aprender Notícias Ferramentas Vagas Missão

Termo do glossário de IA

O que é Poda?

Definição

Removendo pesos de modelo ou neurônios menos importantes para reduzir o tamanho e a computação.

Navegue pelo glossário completo de IA Explore todos os guias gratuitos de IA

Atenção à janela deslizanteUm padrão de atenção em que cada token atende apenas a uma janela de tamanho fixo de tokens próximos para reduzir a computação.Lei de escalaUma relação empírica que mostra como o desempenho melhora com o tamanho do modelo, dados ou computação.Modelo DestiladoUm modelo menor treinado para imitar o comportamento de um modelo maior usando menos computação na inferência.RetropropagaçãoO algoritmo de treinamento principal que atualiza os pesos do modelo propagando erros de previsão para trás pela rede.CalcularOs recursos de processamento necessários para treinar e executar modelos, geralmente medidos em FLOPS ou horas de GPU.GradienteUm vetor que mostra quanto cada parâmetro deve mudar para reduzir a perda.

Saiba mais em nossos guias gratuitos

Attention Rollout and Head Pruning Structured Pruning and Layer Dropping Model Pruning

Veja também

Prompt Injection Quantization Prompt Engineering RAG (Retrieval-Augmented Generation)Prompt Recall Pretraining Recommendation System