O que é Gradiente?

Um hiperparâmetro de treinamento que controla quanto os parâmetros mudam em cada etapa de atualização.

Uma relação empírica que mostra como o desempenho melhora com o tamanho do modelo, dados ou computação.

Um padrão de atenção em que cada token atende apenas a uma janela de tamanho fixo de tokens próximos para reduzir a computação.

Uma configuração generativa onde um gerador e um discriminador treinam um contra o outro.

O desempenho de um modelo em dados novos e não vistos fora do conjunto de treinamento.

Um método de otimização que atualiza os parâmetros na direção que reduz o erro.