신경망

기본 인공뉴런은 입력값을 가중치를 이용해 결합하고 편향을 추가한 뒤 활성화 함수를 적용한다. 가중치는 각 입력이 얼마나 강력하게 기여하는지 제어합니다. 편향은 결과를 이동시킵니다. 비선형 활성화를 사용하면 레이어가 순전히 선형 작업 스택으로는 표현할 수 없는 관계를 표현할 수 있습니다. 예를 들어 ReLU 활성화는 음수 입력에 대해 0을 반환하고 양수 입력은 변경되지 않은 상태로 둡니다. 네트워크는 다양한 계층에서 다양한 활성화를 사용할 수 있습니다. 출력 레이어는 작업에 맞게 선택됩니다. 숫자 예측은 가능한 범주에 대한 점수와 동일한 방식으로 해석되지 않습니다. 훈련 중에 손실 함수는 출력을 원하는 결과와 비교합니다. 역전파는 체인 규칙을 사용하여 매개변수가 손실에 미치는 영향을 계산합니다. 그런 다음 최적화 프로그램은 해당 정보를 사용하여 매개변수를 업데이트합니다. 역전파는 기울기를 계산합니다. 모델이 최상의 솔루션을 찾거나 잘 일반화된다는 보장은 없습니다. 뇌 비유는 제한적입니다. 인공 뉴런은 수학적 추상화이며 성공적인 네트워크는 인간과 같은 마음의 증거가 아닙니다. 더 큰 네트워크는 복잡한 관계를 모델링할 수 있지만 실행 비용이 더 많이 들고 관련 없는 패턴을 맞추거나 조건 변경 시 실패할 수도 있습니다. 이를 더 간단한 기준과 비교하고 훈련 데이터 외부의 예를 테스트해 보세요.