Nyelvi AI ÚTMUTATÓ

Transzformátorok

A transzformátor egy neurális hálózati architektúra, amely figyelmet használ az információk egy sorozaton keresztüli kombinálására.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Főbb tanulságok
  3. Mély merülés
  4. Kövesse nyomon a hivatkozást a kontextuson keresztül
  5. Valós megvalósítás
  6. A gyakorlatba ültetés
  7. Források és további olvasmányok
  8. Folytassa a felfedezést
  9. Gyakran ismételt kérdések

Áttekintés

Számos nyelvi és multimodális modell alapja. Az architektúra módot ad a reprezentációk feldolgozására; önmagában nem alapozza meg a tényszerűséget, a megértést vagy a biztonságos viselkedést.

Főbb tanulságok

  1. A figyelem a pozíciók közötti információkat egyesíti.
  2. Az építészeti változatok különböző képzési célokat szolgálnak.
  3. A hosszú kontextusú képességek feladatspecifikus tesztelést igényelnek.

Mély merülés

A figyelem kiszámítja, hogy egy pozíciónak mennyi információt kell átvennie a többi pozícióból. Egy általános megfogalmazásban a tanult vetületek lekérdezéseket, kulcsokat és értékeket állítanak elő. A lekérdezési kulcs-összehasonlítások határozzák meg az értékek kombinálásához használt súlyokat. A több figyelemfelkeltő fej több ilyen kombinációt tesz lehetővé egy rétegen belül. A transzformátorréteg egyéb műveleteket is tartalmaz, például előrecsatolt hálózatot, normalizálást és maradék kapcsolatokat. A pozíció információra azért van szükség, mert a szavak vagy más sorozatelemek sorrendje számít. Az egyes megvalósítások abban különböznek, hogy hogyan ábrázolják a pozíciót és hogyan rendezik el ezeket a műveleteket. Az eredeti 2017-es transzformátor kódoló-dekódoló kialakítást használt a fordításhoz. A későbbi modellek csak kódoló, csak dekódoló vagy kódoló-dekódoló elrendezést használnak különböző célokra. A kauzális nyelvi modell megakadályozza, hogy egy pozíció a jövő jogkivonataival foglalkozzon a következő token előrejelzése során. Ez a megszorítás különbözik a teljes bemenet kétirányú feldolgozásától. A hosszú sorozatokra való odafigyelés számítási szempontból költséges lehet. A gyakorlati rendszerek sokféle optimalizálást alkalmaznak, de a meghirdetett kontextuskorlát nem bizonyítja, hogy a modell egy hosszú dokumentum minden részét megbízhatóan használja. Tesztelőkeresés, érvelés és utasítások követése az alkalmazásnak szükséges tényleges időtartamban.

04Működő példa

Kövesse nyomon a hivatkozást a kontextuson keresztül

  1. Vegyük fontolóra a kitalált szöveget: „A robot elmozdította a ládát, mert elzárta az ajtót.”

  2. Az „ez” szó feloldásához kontextusra lehet szükség. Egy figyelemmechanizmus kombinálhatja más pozíciókból származó információkat a reprezentáció kiszámítása közben.

  3. Módosítsa a mondatot a következőre: „A robot elmozdította a ládát, mert töltésre volt szüksége.” Tesztelje a teljes modell értelmezését ahelyett, hogy egy figyelemdiagram feltételezése bizonyítja a helyes referenciafelbontást.

Mit mutat

Ez a példa a környezetfüggő feldolgozást szemlélteti anélkül, hogy azt állítaná, hogy minden transzformátor helyesen oldja fel a kétértelműséget.

Valós megvalósítás

Dokumentum kódolása az osztályozáshoz.

Hozzon létre egy választ ok-okozati figyelem segítségével.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A nyelvi munkafolyamatok gyorsabban haladhatnak a következetesség feláldozása nélkül.
  • Hozzáférés és elérés. Kibővíti a hozzáférést a nyelvek és a kommunikációs stílusok között.
  • Tisztább döntések. A csapatok több időt tölthetnek az ítélkezéssel, míg az automatizálás kezeli az ismétlést.

Vigyázz

  • A hallucinált tények csendben bekerülhetnek a jelentésekbe, a támogatási folyamatokba vagy a kutatási eredményekbe.
  • Az azonnali érzékenység inkonzisztens eredményeket eredményezhet a hasonló kérések között.
  • Ha a hozzáférés-szabályozás gyenge, az érzékeny szöveges adatok megjelenhetnek.

Következő lépések

  1. A kiadás előtt határozza meg a kimeneti formátumot, hangszínt és minőségi szabványokat.
  2. Földelje a válaszokat megbízható forrásokból, amikor a pontosság számít.
  3. Tartson emberi ellenőrzési pontot a nagy tétű kimenetekhez.
  4. Kövesse nyomon a meghibásodási mintákat, és rendszeresen tanítsa át az utasításokat vagy a munkafolyamatokat.

Források és további olvasmányok

  1. Vaswani and colleaguesCsak a figyelem kell

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Transformers quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Minden transzformátor chatbot?

Nem. A transzformátorok támogatják az osztályozást, fordítást, visszakeresést, látást, hangot és egyéb feladatokat; a chatbot egy modellek és kiegészítő rendszerek köré épülő alkalmazás.