Redes Neurais

Um neurônio artificial básico combina valores de entrada usando pesos, adiciona um viés e aplica uma função de ativação. Os pesos controlam a intensidade com que cada entrada contribui. O viés muda o resultado. Uma ativação não linear permite que as camadas representem relacionamentos que uma pilha de operações puramente lineares não poderia. Por exemplo, a ativação do ReLU retorna zero para uma entrada negativa e deixa uma entrada positiva inalterada. As redes podem usar diferentes ativações em diferentes camadas. Uma camada de saída é escolhida para se adequar à tarefa: uma previsão numérica não é interpretada da mesma forma que as pontuações para categorias possíveis. Durante o treinamento, uma função de perda compara a saída com o resultado desejado. A retropropagação usa a regra da cadeia para calcular como os parâmetros afetam a perda. Um otimizador então usa essas informações para atualizar os parâmetros. A retropropagação calcula gradientes; não é uma garantia de que o modelo encontrará a melhor solução possível ou generalizará bem. A analogia do cérebro é limitada. Neurônios artificiais são abstrações matemáticas, e uma rede bem-sucedida não é evidência de uma mente semelhante à humana. Uma rede maior pode modelar relacionamentos complicados, mas também pode custar mais para operar, ajustar-se a padrões irrelevantes ou falhar quando as condições mudam. Compare-o com uma linha de base mais simples e teste em exemplos fora dos dados de treinamento.