Társadalom ÚTMUTATÓ

Tokenizációs különbségek a nyelvek között

A tokenizációs eltérések azt jelentik, hogy ugyanaz az üzenet bizonyos nyelveken sokkal több tokent vehet igénybe, mint az angolban, mivel a legtöbb tokenizátor többnyire angol szövegből készült.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A tokenizációs különbségek jövője a nyelvek között
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Mivel az AI-szolgáltatások token alapján számítanak fel, és korlátozzák, hogy hány token fér el egy kontextusablakban, az ilyen nyelveket beszélők többet fizethetnek, kevesebb szöveget illeszthetnek be, és tovább várhatnak ugyanarra a munkára. Ez teszi a tokenizátor tervezését méltányossági és műszaki kérdéssé.

Mély merülés

A tokenizáló egy képzési korpusz tanulmányozásával megtanulja, hogy mely szövegrészeket kezelje egyedi tokenként. A közös karakterláncok saját tokeneket kapnak; a ritka karakterláncok kisebb darabokra törnek, néha egyes bájtokra. Amikor a korpuszt az angol és néhány más, nagy erőforrást igénylő nyelv uralja, ezek a nyelvek hatékony tokeneket kapnak a teljes szavakhoz és a gyakori szórészekhez. Azok a nyelvek, amelyek ritkábban jelennek meg, vagy olyan szkripteket használnak, amelyekben minden karakter több bájtot vesz fel UTF-8 kódolásban, például sok dél-ázsiai, délkelet-ázsiai és afrikai szkript, sokkal több részre osztódnak. A hatás mérhető. A 2023-ban közzétett kutatás, beleértve Petrov és kollégáinak a tokenizátorok tisztességtelenségével kapcsolatos munkáját, azt találta, hogy ugyanazon szöveg fordításához néhány nyelven többszörös tokenre lehet szükség, mint az angolban, és a legnagyobb hiányosságok meghaladják a tízszeresét bizonyos nyelvek és tokenizátorok esetében. Ennek három konkrét szempontból van jelentősége. Költség: Az API árképzés tokenenként értendő, így a hosszabb tokenszám közvetlen áremelkedést jelent ugyanazon tartalom esetében. Kontextus: egy rögzített kontextusú ablak kevesebb tényleges szöveget tartalmaz, így a dokumentumokat le kell vágni, és a beszélgetések hamarabb elveszítik a korábbi fordulatokat. Sebesség és minőség: több token több generációs lépést jelent, és az erős töredezettség megnehezítheti a modell számára, hogy megtanulja a szavak jó ábrázolását, ami hozzájárulhat az adott nyelvek gyengébb teljesítményéhez. A szolgáltatók részben válaszoltak. Amikor a OpenAI 2024-ben kiadta a GPT-4o-t, nagyobb tokenizert vezetett be, és azt mondta, hogy kevesebb tokent használ sok nem angol nyelven. A nagyobb szókincsek és a kiegyensúlyozottabb edzésadatok segítenek, de nem szüntetik meg teljesen a hiányt. Elterjedt tévhit, hogy egyes nyelvek egyszerűen szófogadóbbak. A fordítások hossza különbözik, de a nagy token-hézagok főként a tokenizátor felépítéséből fakadnak, nem pedig magukból a nyelvekből.

Valós megvalósítás

Egy egészségügyi nonprofit szervezet lefordítja ugyanazt a betegtájékoztatót angolra, hindire és amharára, és úgy találja, hogy a nem angol nyelvű változatok többszörösen több tokent használnak, így az API-számlája ezekre a nyelvekre sokkal magasabb.

A burmai beszélőknek szánt chatbot sokkal kevesebb beszélgetési fordulat után éri el a kontextuskorlátot, mint az angol verzió, így hamarabb felejti el a korábbi üzeneteket.

A fejlesztő egy koreai támogatási cikket ellenőrzi egy tokenizátor-nézegetővel, és azt látja, hogy sok szó rövid töredékekre van felosztva, míg az eredeti angol nyelvű legtöbb szónként egy tokenre van leképezve.

Egy kutatócsoport összehasonlítja egy régebbi és egy újabb tokenizátort ugyanattól a szolgáltatótól, és azt találja, hogy az újabb észrevehetően kevesebb tokent használ arab és tamil dokumentumaihoz.

A tokenizációs különbségek jövője a nyelvek között

A Tokenizer szókincse nőtt, és számos szolgáltató most már fejlesztéseket tesz közzé a nem angol nyelvű szövegekre vonatkozóan, így a szakadék valószínűleg tovább szűkül a széles körben beszélt nyelvek esetében. Az alacsony erőforrás-igényű nyelvek továbbra is késhetnek, hacsak a képzési adatok és a tokenizátor tervezése szándékosan nem tartalmazza őket. A bájtszintű és dinamikusan csoportosított modellek kutatása csökkentheti a rögzített szókincstől való függőséget, bár ezeknek a terveknek megvannak a saját számítási költségei. A többnyelvű közönséget kiszolgáló szervezeteknek egyelőre mérniük kell a tokenszámot minden általuk támogatott nyelven, és a nyelvenkénti költség- és kontextuskorlátokat az akadálymentesítési tervezés részeként kell kezelniük.

A gyakorlatba ültetés

Miért számít

  • Kockázat és biztonság. A katasztrofális és a mindennapi mesterséges intelligencia okozta károk egyaránt attól függnek, hogy ki érti a kockázatokat, és ki tud cselekedni.
  • Tisztább döntések. A közéleti és szakmai műveltség határozza meg, hogy politikailag lehetséges-e az erős biztonsági politika.
  • Átvágva a felhajtáson. A világos magyarázatok csökkentik a hírverés, a laboratóriumi PR és a homályos etikai színház általi elkapását.

Vigyázz

  • Az egzisztenciális kockázat sci-fiként való kezelése, miközben a képesség összetett.
  • Zavaros felületi termékbiztonság a nagy autonómia melletti igazítással.
  • A nem angol nyelvű és nem szakértő közönségnek csak rossz minőségű forrásokat kell hagynia.

Következő lépések

  1. Különítse el a termékkárok, a visszaélések és az ellenőrzés elvesztésének/hibás beállításának kockázatait.
  2. Kérdezd meg, milyen bizonyítékok változtatnák meg az idővonalakról és a súlyosságról alkotott nézetedet.
  3. Részesítse előnyben az elsődleges forrásokat és a konkrét értékeléseket a marketinges állításokkal szemben.
  4. Határozzon meg egy cselekvési utat: karrier, politika, finanszírozás vagy készségek – nem csak a tudatosság.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Tokenization Disparities Across Languages quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mit jelent a tokenizációs különbségek a nyelvek között?

A tokenizációs eltérések azt jelentik, hogy ugyanaz az üzenet bizonyos nyelveken sokkal több tokent vehet igénybe, mint az angolban, mivel a legtöbb tokenizátor többnyire angol szövegből készült. Mivel az AI-szolgáltatások token alapján számítanak fel, és korlátozzák, hogy hány token fér el egy kontextusablakban, az ilyen nyelveket beszélők többet fizethetnek, kevesebb szöveget illeszthetnek be, és tovább várhatnak ugyanarra a munkára. Ez teszi a tokenizátor tervezését méltányossági és műszaki kérdéssé.

Mi a fő oka a nyelvek közötti nagy tokenszám-különbségeknek?

A tokenizátorok hatékony tokeneket adnak a képzési korpuszukban gyakori karakterláncokhoz. Az alulreprezentált nyelvek több, kisebb részre szakadnak.

Miért állítanak elő gyakran több tokent a bájt alapú tokenizátorok alatt az olyan szkriptek, mint a Devanagari vagy a Thai?

Ezekben a szkriptekben minden karakter több UTF-8 bájtból áll. Ha a tokenizátor ritkán egyesítette ezeket a bájtsorozatokat, egy karakter több tokenné válhat.

Ezek közül melyik NEM az egyike a magasabb tokenszámnak az útmutatóban megnevezett három hatásának?

Az útmutató felsorolja a költségeket, a környezeti helyet, valamint a sebességet vagy a minőséget. Az automatikus elutasítás nem a token számlálás következménye.

Mit jelent ebben az összefüggésben a termékenység kifejezés?

A termékenység méri a tokeneket szónként. A magasabb termékenység azt jelenti, hogy a szöveg több részre van osztva, és többe kerül.

Milyen változást írt le a OpenAI, amikor 2024-ben kiadta a GPT-4o-t?

A GPT-4o egy nagyobb szókincs-tokenizerrel érkezett, amely a OpenAI szerint sok nem angol nyelven hatékonyabb.