LegközelebbKövetkező útmutató
Többfejű látens figyelem
Nyelvi AI
Műszaki ÚTMUTATÓ
A figyelemkiterjesztés egy módszer annak nyomon követésére, hogy az információ hogyan áramlik át a Transformer halmozott figyelemrétegein, hogy megmagyarázza, mely bemeneti tokenek befolyásolják az előrejelzést.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
A fejmetszés eltávolítja azokat a figyelemfelkeltő fejeket, amelyek kis mértékben járulnak hozzá a modellek zsugorodásához anélkül, hogy a pontosságot sértené. Együtt segítenek értelmezni és tömöríteni a Transformers-t.
A transzformátorok sok rétegben terjesztik el gondolataikat sok figyelemfelkeltő fejen, így egyetlen réteg figyelemtérképe ritkán mondja el a teljes történetet. Az Abnar és Zuidema által 2020-ban bevezetett figyelemkiterjesztés ezt úgy javítja ki, hogy a figyelemmátrixokat rétegről rétegre megszorozza (a maradék kapcsolatok figyelembevétele után), hogy hozzávetőlegesen mennyivel járul hozzá az egyes bemeneti token egy adott kimeneti tokenhez. Külön kutatások, például Michel és munkatársai „Tényleg jobb, mint egy tizenhat fej?” kimutatta, hogy sok fej redundáns: egy nagy töredéket le lehet metszeni a következtetés időpontjában elhanyagolható pontossági veszteséggel. A fejmetszés fontosság szerint rangsorolja a fejeket, gyakran gradiens alapú érzékenységi pontszámokat használva, majd elfedi a legkevésbé hasznosakat. A két technika kiegészíti egymást: a kiterjesztés felfedi, hogy a hálózat mely részei fontosak az értelmezés szempontjából, a visszavágás pedig a redundanciára hat, hogy a modellek kisebbek és gyorsabbak legyenek.
Annak megjelenítése, hogy egy mondat mely szavaira támaszkodott a Transformer osztályozó, figyelemfelhívással, hogy kiemelje a befolyásos jelzőket
BERT-modell tömörítése mobil telepítéshez a redundáns figyelemfelkeltő fejek levágásával a késleltetés csökkentése érdekében
A modell torzításának ellenőrzése a figyelem áramlásának az előrejelzéstől az érzékeny beviteli tokenekig való visszakövetésével
A következtetések felgyorsítása az éles fordítási rendszerekben az érzékenységi pontozással azonosított kis jelentőségű fejek eltávolításával
A modellek növekedésével a hatékony következtetések és a megbízható magyarázatok sürgőssé válnak. Várható, hogy a fejmetszés egyesüljön a strukturált metszéssel, kvantálással és desztillációval a telepítési csővezetékekben az él- és költségérzékeny kiszolgálás érdekében. Az értelmezhetőség a bevezetésen túl a figyelem áramlása, a gradiens súlyozású módszerek és az egyes fejek funkcióit vizsgáló mechanikus áramkör-elemzés felé halad. A megmagyarázható mesterséges intelligencia iránti szabályozói nyomás továbbra is ösztönzi a kutatást, amely összekapcsolja, hogy melyik fej számít az általuk ténylegesen kiszámított adatoknak.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A figyelemkiterjesztés egy módszer annak nyomon követésére, hogy az információ hogyan áramlik át a Transformer halmozott figyelemrétegein, hogy megmagyarázza, mely bemeneti tokenek befolyásolják az előrejelzést. A fejmetszés eltávolítja a figyelemfelkeltő fejeket, amelyek kis mértékben járulnak hozzá a modellekhez, anélkül, hogy a pontosságot sértené. Együtt segítenek értelmezni és tömöríteni a Transformers-t.
A közzététel megsokszorozza a rétegenkénti figyelmet (maradékokkal), hogy megközelítőleg meghatározza, hogyan befolyásolják az egyes bemeneti tokenek a kimenetet.
Mivel az érvelés halmozott rétegek és fejek között oszlik meg, egy réteg térképe nem tudja rögzíteni a teljes információáramlást.
Az identitáskomponens hozzáadása modellezi a fennmaradó kihagyási kapcsolatot, amely lehetővé teszi, hogy a tokenek megtartsák saját információikat.
Olyan tanulmányok, mint „Tényleg jobb a tizenhat fej, mint egy?” kimutatta, hogy a fejek nagy része redundáns a következtetésre.
A fontosságot gyakran a veszteség gradiensével értékelik az egyes fejeken lévő maszkváltozókhoz képest.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Többfejű látens figyelem
Nyelvi AI