O que é Poda?

Um padrão de atenção em que cada token atende apenas a uma janela de tamanho fixo de tokens próximos para reduzir a computação.

Uma relação empírica que mostra como o desempenho melhora com o tamanho do modelo, dados ou computação.

Um modelo menor treinado para imitar o comportamento de um modelo maior usando menos computação na inferência.

O algoritmo de treinamento principal que atualiza os pesos do modelo propagando erros de previsão para trás pela rede.

Os recursos de processamento necessários para treinar e executar modelos, geralmente medidos em FLOPS ou horas de GPU.

Um vetor que mostra quanto cada parâmetro deve mudar para reduzir a perda.