परीक्षण-समय प्रशिक्षण

It is a powerful way to adapt to distribution shift and squeeze extra performance out of fixed models.

पारंपरिक मशीन लर्निंग दुनिया को स्पष्ट रूप से विभाजित करती है: आप प्रशिक्षण लेते हैं, आप वजन कम करते हैं, फिर आप तैनात करते हैं। परीक्षण-समय प्रशिक्षण चुनौती देता है कि भविष्यवाणी करने से पहले परीक्षण उदाहरण पर सीखने का एक छोटा सा प्रयास करें। क्योंकि परीक्षण के समय वास्तविक लेबल अज्ञात होता है, टीटीटी एक स्व-पर्यवेक्षित सहायक कार्य का उपयोग करता है, जैसे घुमाई गई छवि के अभिविन्यास की भविष्यवाणी करना या एक नकाबपोश पैच का पुनर्निर्माण करना, जिसके नुकसान की गणना लेबल के बिना की जा सकती है। आने वाले नमूने पर उस कार्य को अनुकूलित करने से साझा प्रतिनिधित्व को नए डेटा में फिट करने के लिए प्रेरित किया जाता है, फिर मुख्य प्रमुख अपनी भविष्यवाणी करता है। एक आधुनिक संस्करण विचार को अंदर से बाहर कर देता है: टीटीटी परत अपने स्वयं के छिपे हुए राज्य को एक छोटे मॉडल के रूप में मानती है जिसे अनुक्रम में धीरे-धीरे वंश द्वारा अद्यतन किया जाता है, जो लंबे संदर्भों के लिए ध्यान देने योग्य विकल्प प्रदान करता है।