Istoricul GPT

Secvența timpurie de cercetare GPT a explorat pre-antrenamentul modelelor de limbaj, transferul mai larg de sarcini și învățarea din exemple oferite în context. Acest ghid acoperă acele repere de cercetare, în loc să prezinte o listă exhaustivă sau actuală de versiuni de produs.

Concluzii cheie

• Citește repere importante în contextul lor istoric.
• Distingeți exemplele din context de actualizările de greutate.
• Modele de cercetare separate de produsele construite în jurul lor.

Lucrarea din 2018 a combinat pre-antrenamentul nesupravegheat al modelului de limbaj cu adaptarea supravegheată la sarcini de înțelegere a limbajului. Contribuția sa a fost cum un transformator preantrenat larg putea susține mai multe sarcini downstream cu fine-tuning-uri specifice sarcinii. Raportul GPT-2 2019 a examinat modelele de limbaj ca învățăcei multitasking nesupravegheați. A studiat dacă un model lingvistic next-token poate efectua sarcini descrise prin text fără o procedură separată de antrenament pentru fiecare sarcină. Contextul cercetării contează: un rezultat la o evaluare anume nu implică rezolvarea sarcinii. Lucrările GPT-3 din 2020 au pus accent pe evaluarea cu câteva proiecte. Exemple au fost incluse în contextul input, permițând modelului să încerce o sarcină fără actualizare de gradient în timpul evaluării raportate. Acest lucru diferă de ajustarea fină a parametrilor modelului pe un set de date etichetat. Păstrați numele de cercetare, versiunile modelului și produsele distincte. Interfețele de chat, recuperarea, uneltele și adaptarea ulterioară pot schimba comportamentul sistemului dincolo de modelul de bază. Rezultatele istorice trebuie citite împreună cu seturile lor de date, prompturi, setări de evaluare și limitări. Ele sunt dovezi ale unui anumit experiment, nu măsurători atemporale ale produselor curente.

1. Imaginează-ți un clasificator solicitat cu trei exemple etichetate înainte de un al patrulea mesaj. Răspunsul său se schimbă, dar nu rulează niciun job de antrenament.
2. Descrie acest lucru ca un exemplu în context, nu ca un model nou antrenat.
3. Dacă un job separat actualizează greutățile folosind multe mesaje etichetate, documentează datele și noua versiune a modelului ca reglare fină.

Comparația construită ajută la evitarea confundării a două idei importante din istoria GPT.