Kontextuson belüli tanulás
A kontextuson belüli tanulás a nagy nyelvi modellek meglepő képessége, hogy a promptban elhelyezett néhány példából új feladatot vegyenek fel, minden átképzés nélkül.
Áttekintés
It is the reason you can 'teach' a model on the fly just by showing it what you want.
Mély merülés
Normális esetben egy neurális hálózat új feladatának megtanítása azt jelenti, hogy edzéssel frissítjük a súlyát. A kontextuson belüli tanulás más: ír néhány példát közvetlenül a promptba (a „kontextusba”), és a modell kikövetkezi a mintát, és alkalmazza azt egy új bemenetre. A modell belsejében semmi sem változik; a példák csak irányítják a következő token előrejelzését. Hallani fogja a „zero-shot” (csak utasítás), „one-shot” (egy példa) és a „few-shot” (több példa). Ezt a viselkedést a GPT-3 népszerűsítette 2020-ban, és kiderült, hogy ez egy feltörekvő képesség: az apró modellek nem képesek rá, de a nagyjából 100 milliárdos paraméteres skálán túl a néhány lövéses felszólítások pontossága meredeken emelkedik. A modell hatékonyan megtanulta felismerni és folytatni a mintákat az előképzés során, így újra felhasználhatja ezt a képességet a következtetés időpontjában.
Technikai betekintés
Az értelmezhetőségi kutatás ennek a képességnek a nagy részét az „indukciós fejekre” vezette vissza – olyan figyelemköröket, amelyek edzés közben jönnek létre, és homályos előtag-illesztést hajtanak végre: visszakeresik, hol jelent meg egy hasonló token, majd lemásolják azt, ami utána következett. Tehát amikor az „alma -> gyümölcs, sárgarépa -> zöldség” üzenet jelenik meg, a modell megfelel a szerkezetnek, és megjósolja a megfelelő címkét a következő cikkhez. Lényeges, hogy nem folyik átmenet, és a súlyok sem frissülnek a következtetéskor. A példák egyszerűen átformálják azokat az aktiválásokat, amelyek a következő token valószínűségi eloszlását táplálják.
Stratégiai hatás
Sebesség és méretarány
A nyelvi munkafolyamatok gyorsabban haladhatnak a következetesség feláldozása nélkül.
Hozzáférés és elérés
Kibővíti a hozzáférést a nyelvek és a kommunikációs stílusok között.
Tisztább döntések
A csapatok több időt tölthetnek az ítélkezéssel, míg az automatizálás kezeli az ismétlést.
Az In-Context Learning jövője
A kibővülő kontextusablakok (jelenleg több százezer tokenek) a kontextuson belüli tanulást a „soklövésű” rendszerek felé tolják, ahol példák tucatjai vagy százai vetekedhetnek bizonyos feladatok finomhangolásával, képzési költség nélkül. Szorosabb integrációra számíthat a visszakereséssel, így a releváns példák automatikusan lekérésre kerülnek, és jobb elmélet arra vonatkozóan, ha a kontextuson belüli tanulás kudarcot vall vagy elterelődik. Ez marad a modell adaptálásának gyors, olcsó módja, kiegészítve – nem helyettesítve – a finomhangolást a stabil, nagy volumenű feladatokhoz.
Valós megvalósítás
Adunk egy chatbotnak három példa támogatási jegyet és azok kategóriáit, majd ugyanúgy osztályozzuk az új jegyet
A modell két előtte/utána pár rendetlen szöveg megjelenítése tiszta JSON-ba újraformázva, így konvertálja a többit
Illesszen be néhány minta termékleírást a márka hangján, hogy az újak illeszkedjenek a stílushoz
Egy bonyolult matematikai szófeladat bemutatása lépésről lépésre működött, így a modell hasonló problémákat old meg ugyanazzal az érvelési formátummal
Kockázatok és védőkorlátok
A hallucinált tények csendben bekerülhetnek a jelentésekbe, a támogatási folyamatokba vagy a kutatási eredményekbe.
Az azonnali érzékenység inkonzisztens eredményeket eredményezhet a hasonló kérések között.
Ha a hozzáférés-szabályozás gyenge, az érzékeny szöveges adatok megjelenhetnek.
Végrehajtási ütemterv
A kiadás előtt határozza meg a kimeneti formátumot, hangszínt és minőségi szabványokat.
Földelje a válaszokat megbízható forrásokból, amikor a pontosság számít.
Tartson emberi ellenőrzési pontot a nagy tétű kimenetekhez.
Kövesse nyomon a meghibásodási mintákat, és rendszeresen tanítsa át az utasításokat vagy a munkafolyamatokat.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the In-Context Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Kontextus Windows
Gyakran ismételt kérdések
What is In-Context Learning?
A kontextuson belüli tanulás a nagy nyelvi modellek meglepő képessége, hogy a promptban elhelyezett néhány példából új feladatot vegyenek fel, minden átképzés nélkül. Ez az oka annak, hogy „megtaníthat” egy modellt menet közben, pusztán úgy, hogy megmutatja neki, amit akar.
Mi változik alapvetően a modellen belül a kontextuson belüli tanulás során?
A kontextuson belüli tanulás teljes mértékben következtetés útján történik. A promptban található példák alakítják a modell aktiválásait és a következő token előrejelzéseit, de a súlyok nem frissülnek.
Miért nevezik a kontextuson belüli tanulást „feltörekvő” képességnek?
Ez a képesség gyenge vagy hiányzik a kis modelleknél, és meredeken emelkedik, ha a modellek elérik a nagyon nagy léptéket, ezért hívják felbukkanónak.
Melyik belső mechanizmus kapcsolódik leginkább a transzformátorok kontextuson belüli tanulásához?
Az értelmezhetőségi munka az indukciós fejeket – azokat a figyelemköröket, amelyek megtalálják, hol jelent meg egy hasonló token, és lemásolják a következőt – a kontextuson belüli tanulás alapvető mozgatórugóiként azonosították.