ニューラルネットワーク

基本的な人工ニューロンは、重みを使用して入力値を結合し、バイアスを追加し、活性化関数を適用します。重みは、各入力がどの程度強く寄与するかを制御します。バイアスにより結果が変わります。非線形アクティベーションにより、純粋な線形操作のスタックでは表現できない関係をレイヤーで表現できるようになります。たとえば、ReLU アクティベーションは負の入力に対して 0 を返し、正の入力は変更されません。ネットワークは、異なる層で異なるアクティベーションを使用できます。出力層はタスクに合わせて選択されます。数値予測は、考えられるカテゴリのスコアと同じようには解釈されません。トレーニング中、損失関数は出力を望ましい結果と比較します。バックプロパゲーションでは、連鎖規則を使用して、パラメーターが損失に与える影響を計算します。次に、オプティマイザーはその情報を使用してパラメーターを更新します。バックプロパゲーションは勾配を計算します。モデルが可能な限り最良の解決策を見つけたり、適切に一般化したりするという保証はありません。脳の例えには限界があります。人工ニューロンは数学的に抽象化されたものであり、ネットワークが成功しても人間のような精神を持っているという証拠にはなりません。ネットワークが大規模であれば、複雑な関係をモデル化できますが、実行コストが高くなったり、無関係なパターンに適合したり、条件が変化したときに失敗したりする可能性もあります。より単純なベースラインと比較し、トレーニング データ以外の例でテストします。