نیورل ٹینجنٹ کرنل تھیوری

It matters because it turns mysterious deep learning into something with closed-form, analyzable equations.

2018 میں Jacot، Gabriel، اور Hongler کے ذریعے متعارف کرایا گیا، NTK تھیوری اس بات کا مطالعہ کرتی ہے کہ نیٹ ورک کی پرتیں لامحدود چوڑی ہونے پر کیا ہوتا ہے۔ اس حد میں، تدریجی نزول کے ساتھ تربیت ایک جنگلی نان لائنر سفر کی حیثیت سے رک جاتی ہے: نیٹ ورک کے پیرامیٹرز بمشکل اپنی بے ترتیب ابتداء ('سست تربیت' کے نظام) سے ہٹتے ہیں، اور یہ جس فنکشن کا حساب کرتا ہے وہ لکیری طور پر تیار ہوتا ہے، ایک دانا کے زیر انتظام ہے جو پوری تربیت کے دوران مستقل رہتا ہے۔ وہ دانا — پیرامیٹرز کے حوالے سے میلان کی اندرونی پیداوار — NTK ہے۔ کیونکہ کرنل ریگریشن کے درست حل ہوتے ہیں، آپ تربیت یافتہ نیٹ ورک کے آؤٹ پٹ کی اصل تربیت کیے بغیر پیشین گوئی کر سکتے ہیں۔ NTK نے وضاحت کی کہ کیوں بہت زیادہ حد سے زیادہ پیرامیٹرائزڈ نیٹ ورکس ڈیٹا کو فٹ کر سکتے ہیں پھر بھی اسے عام کیا جا سکتا ہے، اور یہ گہرے سیکھنے کو کئی دہائیوں کے اچھی طرح سے سمجھے جانے والے کرنل طریقوں اور گاوسی عمل سے جوڑتا ہے۔