O que é Lei de escala?

Um padrão de atenção em que cada token atende apenas a uma janela de tamanho fixo de tokens próximos para reduzir a computação.

Uma configuração de treinamento onde um modelo melhora gerando dados por meio de interações ou competições com cópias de si mesmo.

Quão claramente a lógica, as fontes de dados e as limitações de um sistema de IA são documentadas e compreensíveis.

Uma mudança nos dados de entrada do mundo real ao longo do tempo que pode degradar o desempenho do modelo.

O desempenho de um modelo em dados novos e não vistos fora do conjunto de treinamento.

Um vetor que mostra quanto cada parâmetro deve mudar para reduzir a perda.