LegközelebbKövetkező útmutató
Indukciós fejek a transzformátorokban
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
A transzformátor egy neurális hálózati architektúra, amely figyelmet használ az információk egy sorozaton keresztüli kombinálására.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Számos nyelvi és multimodális modell alapja. Az architektúra módot ad a reprezentációk feldolgozására; önmagában nem alapozza meg a tényszerűséget, a megértést vagy a biztonságos viselkedést.
A figyelem kiszámítja, hogy egy pozíciónak mennyi információt kell átvennie a többi pozícióból. Egy általános megfogalmazásban a tanult vetületek lekérdezéseket, kulcsokat és értékeket állítanak elő. A lekérdezési kulcs-összehasonlítások határozzák meg az értékek kombinálásához használt súlyokat. A több figyelemfelkeltő fej több ilyen kombinációt tesz lehetővé egy rétegen belül. A transzformátorréteg egyéb műveleteket is tartalmaz, például előrecsatolt hálózatot, normalizálást és maradék kapcsolatokat. A pozíció információra azért van szükség, mert a szavak vagy más sorozatelemek sorrendje számít. Az egyes megvalósítások abban különböznek, hogy hogyan ábrázolják a pozíciót és hogyan rendezik el ezeket a műveleteket. Az eredeti 2017-es transzformátor kódoló-dekódoló kialakítást használt a fordításhoz. A későbbi modellek csak kódoló, csak dekódoló vagy kódoló-dekódoló elrendezést használnak különböző célokra. A kauzális nyelvi modell megakadályozza, hogy egy pozíció a jövő jogkivonataival foglalkozzon a következő token előrejelzése során. Ez a megszorítás különbözik a teljes bemenet kétirányú feldolgozásától. A hosszú sorozatokra való odafigyelés számítási szempontból költséges lehet. A gyakorlati rendszerek sokféle optimalizálást alkalmaznak, de a meghirdetett kontextuskorlát nem bizonyítja, hogy a modell egy hosszú dokumentum minden részét megbízhatóan használja. Tesztelőkeresés, érvelés és utasítások követése az alkalmazásnak szükséges tényleges időtartamban.
04Működő példa
Vegyük fontolóra a kitalált szöveget: „A robot elmozdította a ládát, mert elzárta az ajtót.”
Az „ez” szó feloldásához kontextusra lehet szükség. Egy figyelemmechanizmus kombinálhatja más pozíciókból származó információkat a reprezentáció kiszámítása közben.
Módosítsa a mondatot a következőre: „A robot elmozdította a ládát, mert töltésre volt szüksége.” Tesztelje a teljes modell értelmezését ahelyett, hogy egy figyelemdiagram feltételezése bizonyítja a helyes referenciafelbontást.
Mit mutat
Ez a példa a környezetfüggő feldolgozást szemlélteti anélkül, hogy azt állítaná, hogy minden transzformátor helyesen oldja fel a kétértelműséget.
Dokumentum kódolása az osztályozáshoz.
Hozzon létre egy választ ok-okozati figyelem segítségével.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Nem. A transzformátorok támogatják az osztályozást, fordítást, visszakeresést, látást, hangot és egyéb feladatokat; a chatbot egy modellek és kiegészítő rendszerek köré épülő alkalmazás.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Indukciós fejek a transzformátorokban
Nyelvi AI