الشبكات العصبية

تجمع الخلايا العصبية الاصطناعية الأساسية بين قيم الإدخال باستخدام الأوزان، وتضيف تحيزًا، وتطبق وظيفة التنشيط. تتحكم الأوزان في مدى قوة مساهمة كل مدخلات. التحيز يغير النتيجة. يتيح التنشيط غير الخطي للطبقات تمثيل العلاقات التي لا تستطيع مجموعة من العمليات الخطية البحتة القيام بها. على سبيل المثال، يؤدي تنشيط ReLU إلى إرجاع صفر للإدخال السلبي ويترك الإدخال الإيجابي دون تغيير. يمكن للشبكات استخدام عمليات تنشيط مختلفة في طبقات مختلفة. يتم اختيار طبقة الإخراج لتناسب المهمة: لا يتم تفسير التنبؤ الرقمي بنفس طريقة تفسير درجات الفئات المحتملة. أثناء التدريب، تقوم دالة الخسارة بمقارنة المخرجات بالنتيجة المرجوة. يستخدم Backpropagation قاعدة السلسلة لحساب كيفية تأثير المعلمات على الخسارة. ثم يستخدم المحسن تلك المعلومات لتحديث المعلمات. يحسب الانتشار العكسي التدرجات؛ ولا يعد ذلك ضمانًا بأن النموذج سيجد أفضل حل ممكن أو سيعمم بشكل جيد. تشبيه الدماغ محدود. إن الخلايا العصبية الاصطناعية عبارة عن تجريدات رياضية، والشبكة الناجحة ليست دليلاً على وجود عقل يشبه الإنسان. يمكن لشبكة أكبر أن تصمم علاقات معقدة، ولكن يمكن أيضًا أن تكون تكلفة تشغيلها أكبر، أو تناسب أنماطًا غير ذات صلة، أو تفشل عندما تتغير الظروف. قارنه بخط أساس أبسط واختبره على أمثلة خارج بيانات التدريب.